mọi người đang nói về @karpathy autoresearch và phần lớn các bạn không biết nó thực sự làm gì.

có một script đào tạo (train(dot)py) để huấn luyện một mô hình ngôn ngữ nhỏ, về cơ bản là một GPT nhỏ. và có một file hướng dẫn (program(dot)md) để chỉ dẫn cho AI agent biết phải làm gì.
bạn nhấn bắt đầu. agent sẽ điều chỉnh script đào tạo, huấn luyện trong 5 phút, kiểm tra điểm số. tốt hơn? giữ lại. tệ hơn? hoàn tác. lặp lại 100 lần qua đêm trong khi bạn ngủ.
đó chính là tất cả.
thứ nó thực sự tối ưu hóa: KIẾN TRÚC MÔ HÌNH. không phải dự đoán. không phải giao dịch. không phải danh mục đầu tư của bạn.
những thứ như:
→ 4 lớp hay 8 lớp?
→ tốc độ học tốt nhất?
→ AdamW hay Muon optimizer?
→ kích thước batch nào phù hợp nhất với GPU NÀY?
kiến trúc tối ưu phụ thuộc vào phần cứng của bạn. một H100 muốn một mô hình hoàn toàn khác so với MacBook của bạn. autoresearch tự động tìm ra cấu hình tốt nhất cho máy của bạn.
những gì bạn CÓ thể làm với nó:
> xây dựng một LLM nhỏ viết mã, autoresearch tìm ra kiến trúc tốt nhất, bạn huấn luyện trên bộ dữ liệu của mình
> tạo ra một chatbot nhẹ chạy offline trên điện thoại của bạn
> huấn luyện một mô hình dựa trên phong cách viết của chính bạn để nó nghe giống bạn
> thử nghiệm "RoPE có vượt qua ALiBi cho các mô hình nhỏ không?" 100 biến thể trong một đêm thay vì 3 tuần làm PhD
> tối ưu hóa một mô hình cho Raspberry Pi hoặc thiết bị edge
những gì bạn KHÔNG thể làm:
> dự đoán giá cổ phiếu
> tìm kiếm lợi thế giao dịch
> phân tích bảng tính
> dự đoán kết quả thể thao
autoresearch là công cụ dành cho những người muốn XÂY DỰNG mô hình ngôn ngữ, chứ không phải để SỬ DỤNG chúng. Karpathy đã xây dựng một vòng lặp tự động nơi AI cải thiện AI. thực sự xuất sắc. nhưng nó giải quyết một vấn đề rất cụ thể.
và vấn đề đó có thể không phải của bạn. điều đó hoàn toàn bình thường, chỉ cần dừng lại việc giả vờ nó là điều gì đó nó không phải.