Как понять: плата за токены в AI больших моделях — это на самом деле плата за аренду вычислительной мощности видеокарт?

Проще говоря, токен — это 'минимальная единица питания' для AI больших моделей.

Как когда мы в детстве учили буквы, сначала по одной, а потом запоминали готовые словосочетания — это эффективнее.

AI на самом деле не знает иероглифы или английский, оно знает только цифры. Когда вы вводите предложение, оно сначала разбивается на отдельные токены, каждый токен соответствует цифровому номеру, и AI обрабатывает именно эту последовательность цифр. При выводе происходит наоборот: сначала генерируются цифровые номера, потом они переводятся обратно в текст для вас.

🔹Но как AI узнаёт, какое слово с наибольшей вероятностью будет дальше?

На основе огромного объёма текстов для обучения — запоминает, какие слова с наибольшей вероятностью идут после каждого токена. Все эти вероятности хранятся в сотнях миллиардов параметров, это как 'справочник знаний' большой модели.

При генерации ответа AI на самом деле выдаёт токены 'один за одним', при каждом выдаёт целый справочник, выставляет оценки всем возможным следующим словам в словаре и выбирает с наибольшей оценкой.

🔹Поэтому эта работа требует огромных вычислительных ресурсов, важна роль GPU

ЦПУ — это умный, но однопоточный профессор, быстро ли листать книгу, всё равно есть лимит. ГПУ — это одновременно тысячи школьников, разделяют справочник на тысячи частей, все работают параллельно, и за миг просчитывают сотни миллионов параметров.

Поэтому видеокарта имеет два ключевых аспекта: чем больше ядер, тем сильнее параллельная вычислительная мощность. Сейчас весь мир бешено потребляет токены, по сути это означает, что бесчисленные видеокарты на фоне бешено листают справочники и выставляют оценки👇

Поэтому плата за токены — это на самом деле плата за аренду вычислительной мощности видеокарт.

А видеокарты, когда работают, требуют электричество и хранилище, поэтому в индустрии одна фраза всё резюмирует:

В краткосрочной перспективе — нехватка вычислительной мощности, в долгосрочной — нехватка энергии, вечная нехватка хранилища.