Рейтинги моделей штучного інтелекту за грудень тільки що зазнали деяких цікавих змін.

Існує нова версія — назвемо її "агентний швидкісний демон" — яка зосереджена на трьох речах: ефективному виклику інструментів, обробці заплутаних багатоступеневих робочих процесів і всьому цьому швидко. Дійсно швидко.

Ось де він потрапляє на таблиці лідерів:

τ²-Bench Telecom? Очолив чарти. Цей бенчмарк кидає надзвичайно складні завдання агентам моделям, такі, що більшість систем не витримує. Не ця.

Бенчмарк виклику функцій Berkeley? Також займає 1-е місце. Переклад: коли ви просите його використовувати зовнішні інструменти або API, він насправді виконує завдання точно, замість того щоб фантазувати нісенітницю.

Те, що робить це примітним, це не лише рейтинги — багато моделей стверджують, що займають перші місця у вибіркових тестах. Важлива комбінація: швидкість + точність інструменту + складність робочого процесу. Ця тріада має значення, якщо ви будуєте щось, окрім чат-ботів.

Архітектура моделі чітко ставить на перше місце практичне виконання над загальною глибиною знань. Компроміси, завжди компроміси. Але для агентних застосувань? Це позиціонування відрізняється.