Fireworks AI запускає навчальну платформу, що підтримує повне навчання з усіма параметрами на рівні трильйона параметрів

MarketWhisper

Fireworks AI訓練平台

Fireworks AI випустила попередню версію Fireworks Training, позиціонуючи компанію з чистого провайдера інфраструктури для інференсу на платформу «навчання + розгортання» як єдине ціле. Ця компанія з AI-інфраструктури, заснована Лінь Цяо (Lin Qiao), колишнім інженером Meta, який брав участь у створенні PyTorch, наразі оцінюється у 4 млрд доларів США; денний обсяг оброблюваних токенів уже досяг 1,5 трлн.

Триланкова архітектура навчання: від безкодових операцій до кастомізації рівня досліджень — повне охоплення

Триланкова архітектура Fireworks Training орієнтована на користувачів з різним технічним бекґраундом, тож команди продукту, ML-інженери та дослідники можуть завершувати весь процес від навчання до розгортання на одній платформі:

Функціональне позиціонування трьох рівнів сервісів

Training Agent (рівень без коду): для продуктових команд без ML-інфраструктури; описуєте завдання, завантажуєте дані — і отримуєте end-to-end процес; наразі підтримує LoRA-файнтюнінг

Managed Training (рівень інженерів): для ML-інженерів; підтримує SFT, DPO та мікронастройку за допомогою навчання з підкріпленням; включає можливість повноцінного навчання всіх параметрів

Training API (рівень досліджень): для дослідницьких команд; дає змогу визначати функції втрат і тренувальний цикл; підтримує алгоритми підкріплювального навчання на кшталт GRPO, DAPO тощо

Масштаб повноцінного навчання суттєво варіюється — від моделі Qwen3 8B на одному вузлі до моделі на трильйони параметрів Kimi K2.5 на 64 платах NVIDIA B200 GPU, охоплюючи весь діапазон масштабів для актуальних провідних відкритих моделей.

Три основні приклади клієнтів: вимірювані дані ефективності в production

Серед наявних клієнтів Fireworks AI, які займаються інференсом, уже три провідні клієнтські AI-застосунки пройшли передове навчання з підкріпленням і опублікували конкретні дані щодо ефективності.

Vercel: для продукту генерації коду v0 навчали автоматичну модель виправлення помилок; показник генерації коду без помилок — 93%. За аналогічних умов Claude Sonnet 3.5 має лише 62%; end-to-end затримка порівняно з тим закритим моделем, який використовували раніше, покращилась у 40 разів.

Genspark: провели навчання з підкріпленням (reinforcement learning fine-tuning) для відкритої моделі Kimi K2 з трильйони параметрів, щоб побудувати глибокі дослідницькі агентні системи. Кількість викликів інструментів зросла на 33%, а витрати на інференс зменшилися на 50%.

Cursor: у глобально розподіленому форматі навчали з підкріпленням Composer 2 на 3–4 кластерах; наразі CursorBench займає перше місце, а також досягнуто спільного використання того самого пулу GPU-ресурсів для навчання та production-інференсу.

Ключові технічні відмінності: числова узгодженість між навчанням і інференсом

Головною технічною диференціацією Fireworks AI є «числова узгодженість» між навчанням і інференсом. Для моделей MoE (мікс експертів) навіть незначні числові відхилення прихованих станів можуть спричинити каскадне посилення в рішеннях маршрутизації експертів, через що поведінку моделі, яку вона вивчила під час навчання, неможливо повністю відтворити під час інференсу.

Fireworks публікує значення KL-дивергенції між навчанням і інференсом для всіх підтримуваних моделей; для всіх моделей показник нижчий за 0.01. Це забезпечує узгоджену, вимірювану базову лінію для кількісного порівняння, щоб розробники могли оцінити стабільність поведінки моделі під час переходу від навчання до production-розгортання.

Поширені запитання

Що це за компанія Fireworks AI?

Fireworks AI — це компанія з AI-інфраструктури для інференсу, заснована колишнім інженером Meta Лінь Цяо (Lin Qiao), який брав участь у створенні PyTorch. Наразі компанія оцінюється у 4 млрд доларів США, денний обсяг оброблюваних токенів — 1.5 трлн; її ключові клієнти включають Cursor, Vercel, Genspark та інші відомі AI-застосунки.

Кому підходить триланкова архітектура Fireworks Training?

Training Agent призначений для продуктових команд без ML-інфраструктури (безкодові операції); Managed Training — для ML-інженерів (підтримує SFT, DPO та повноцінне навчання всіх параметрів із навчанням з підкріпленням); Training API — для дослідницьких команд (можна самостійно визначати функції втрат і тренувальний цикл; підтримує алгоритми на кшталт GRPO, DAPO тощо).

Чому Fireworks AI наголошує на тому, що KL-дивергенція нижча за 0.01?

KL-дивергенція вимірює числові відхилення між середовищем навчання та інференсу; що більше відхилення, то менш стабільною стає поведінка моделі після розгортання. Для MoE-моделей це особливо критично — незначні відхилення можуть бути посилені до відмінностей у рішеннях маршрутизації. Fireworks AI через публікацію вимірюваних показників дає розробникам можливість об’єктивно оцінювати якість узгодженості моделі від навчання до розгортання.

Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до Застереження.
Прокоментувати
0/400
Немає коментарів