Обнаружил интересную тенденцию на рынке. Компании, которые еще недавно роскошно тратили токены, словно это вода из крана, теперь сидят за расчетами с калькулятором в руках. Эпоха freeuse официально закончилась.

Два года назад все было просто. Крупные инвесторы платили счета, мы писали длинные промпты, кидали в модель целые PDF-документы, и никого это не волновало. Сейчас? Каждый токен — это реальные деньги. Не условные единицы, а настоящая касса.

Реально, что изменилось? Во-первых, стоимость вычислительной мощности стремительно выросла. Борьба за чипы NVIDIA H100 превратилась в геополитический конфликт. Во-вторых, когда ежедневный объем API-запросов превышает миллионы, и незначительная «1K Tokens» вдруг становится машиной для откачки денег. Токен приравнен к реальной валюте.

Я понимаю, что многие не понимали, куда идут деньги. Посмотрел на счет — шок. Но проблема не в самих ценах, а в том, как мы тратим. Выход в трех вещах: семантическое кеширование, компрессия промптов и маршрутизация моделей. Это уже не люкс, это необходимость.

Семантическое кеширование — самый простой способ сэкономить. Пользователь запрашивает «Как сбросить пароль?» сотни раз в день. Почему каждый раз запускать GPT-4? В первый раз вычисляем, результат кешируем, последующие запросы возвращаем из кеша. Задержка с секунд переходит в миллисекунды, расходы — почти до нуля.

Компрессия промптов — это уже хирургия. Алгоритмы анализируют, какие слова критически важны, а какие лишние. Можно сжать текст с 1000 токенов до 300, сохраняя смысл. Позволяю машинам общаться своим языком — результат тот же, а плата меньше на 70%.

Маршрутизация моделей — это архитектурная работа. Не все требует GPT-4o. Простое извлечение данных? Маршрутизирую на дешевую Llama 3 8B или Claude 3 Haiku. Сложное логическое рассуждение? Тогда да, беру мощную модель. Как в компании: ресепшн не передает вопрос генеральному директору.

Я наблюдал, как это делают передовые команды. OpenClaw на мобильных устройствах почти полностью контролирует токены. Вместо свободного генерирования он заставляет модель заполнять JSON Schema. Это кажется ограничивающим, но на самом деле экономит трафик. Hermes Agent идет другим путем — динамическая память. Хранит последние 3–5 разговоров, старые резюмирует легкой моделью и сохраняет в векторной базе. Это не хакерство — это хирургическое управление контекстом.

Теперь самое главное — это изменение мышления. Раньше относились к токенам как к потребительскому товару. Увидел скидку — кидаешь в корзину. Слепо подключали LLM ко всему, даже чтобы AI создавал меню столовой. Счет в конце месяца — шок.

Теперь нужно перейти на инвестиционное мышление. Каждый токен — это инвестиция. Спрашиваем себя: что это мне дало? Повысился процент закрытия тикетов? Сократилось время исправления багов? Или это просто развлечения? Если функция по правилам стоит 10 центов, а LLM требует доллар за токен, но повышает конверсию на 2%, то без раздумий отрезаем.

Переходим от «больших и всесторонних» решений к «маленьким и усовершенствованным» точным ударам. Когда бизнес спрашивает: «Можно ли AI прочитать 100 тысяч отчетов?», я спрашиваю: «Покроют ли доходы несколько миллионов токенов?» Посчитаем. Экономим. Считаем токены как владелец продуктового магазина.

Звучит далеко не технологично, скорее сельскохозяйственно. Но именно это — этап взросления AI-индустрии. Эпоха безграничных субсидий закончилась. Остались те, кто понимает архитектуру, знает, как оптимизировать на мобильных устройствах, и смотрит на цифры токенов с холодной расчетливостью. Когда прилив отступит, станет видно, кто плавает голый. В этот раз это будут компании, которые не научились экономить. Тот, кто выжимает каждую каплю как золото, переживет.