Bảng xếp hạng mô hình AI tháng Mười Hai vừa Thả một số thay đổi thú vị.

Có phiên bản mới này—hãy gọi nó là "quái vật tốc độ tác động"—đang tập trung laser vào ba điều: gọi công cụ một cách hiệu quả, xử lý quy trình nhiều bước lộn xộn, và thực hiện tất cả nhanh chóng. Thực sự nhanh.

Đây là vị trí của nó trên bảng xếp hạng:

τ²-Bench Telecom? Đứng đầu bảng xếp hạng. Tiêu chuẩn này đưa ra những nhiệm vụ đại lý phức tạp một cách vô lý cho các mô hình, loại mà khiến hầu hết các hệ thống nghẹt thở. Không phải cái này.

Chỉ số Đánh giá Gọi Hàm Berkeley? Cũng đang đứng ở vị trí số 1. Dịch nghĩa: khi bạn yêu cầu nó sử dụng các công cụ hoặc API bên ngoài, nó thực sự hoàn thành công việc một cách chính xác thay vì tưởng tượng ra những điều vô nghĩa.

Điều làm cho điều này đáng chú ý không chỉ là bảng xếp hạng—nhiều mô hình tuyên bố vị trí hàng đầu trên các bài kiểm tra được chọn lọc. Đó là sự kết hợp: tốc độ + độ chính xác của công cụ + độ phức tạp của quy trình làm việc. Bộ ba đó quan trọng nếu bạn đang xây dựng bất cứ thứ gì ngoài chatbot.

Kiến trúc mô hình rõ ràng ưu tiên việc thực hiện thực tiễn hơn là độ rộng kiến thức chung. Các sự đánh đổi, luôn là sự đánh đổi. Nhưng đối với các ứng dụng có tính tác động? Vị trí này mang lại cảm giác khác biệt.