Рейтинги моделей ИИ за декабрь только что Падение некоторые интересные изменения.

Есть новая версия — назовем ее «агентный скоростной демон» — которая сосредоточена на трех вещах: эффективном использовании инструментов, управлении запутанными многоступенчатыми рабочими процессами и выполнении всего этого быстро. Действительно быстро.

Вот где он находится в таблице лидеров:

τ²-Бенч Телеком? Возглавил чарты. Этот бенчмарк бросает невероятно сложные задачи агентам моделям, такие, которые заставляют большинство систем задыхаться. Не эту.

Бенчмарк вызова функций Berkeley? Также на первом месте. Перевод: когда вы просите его использовать внешние инструменты или API, он действительно выполняет задачу точно, а не выдает абсурд.

Что делает это примечательным, так это не только рейтинги — множество моделей занимают верхние позиции в отобранных тестах. Важно сочетание: скорость + точность инструмента + сложность рабочего процесса. Эта тройка имеет значение, если вы создаете что-то большее, чем чат-боты.

Архитектура модели явно отдает предпочтение практическому выполнению перед широтой общего знания. Компромиссы, всегда компромиссы. Но для агентных приложений? Эта позиция ощущается по-другому.