Tôi luôn sử dụng GitHub Copilot theo mặc định để review PR, dù sao GitHub cũng tự động chạy và có vẻ như không tính phí.

Nhưng những lần review gần đây khiến tôi bắt đầu hoài nghi nó đã "hiểu" được cái gì.

Ví dụ một vấn đề rất cơ bản: nó vẫn sẽ coi 1.82.0 cao hơn 1.91.1, đây là lỗi phán đoán số phiên bản phổ biến ở những mô hình lớn ban đầu.

Nếu nói đây là vấn đề mô hình, thì nó còn sẽ cho rằng rust 1.91.1 chưa được phát hành, điều này lại phơi bày khả năng truy xuất và phán đoán trạng thái hiện tại của agent cũng không tốt lắm.

Vấn đề lớn hơn nữa là: review của Copilot rõ ràng được thực hiện theo từng tệp riêng lẻ.

Kiểm tra style code, điều kiện biên còn được, nhưng thiếu góc nhìn toàn cục. Ví dụ trong một PR, agent vì tính sai đường dẫn tương đối nên copy một tệp thành nhiều bản, thực tế chỉ có một bản có hiệu lực — loại vấn đề này nó hoàn toàn không phát hiện, thậm chí cũng không quan tâm PR tương ứng với issue gốc yêu cầu cái gì.

Theo quan điểm của tôi, một code reviewer agent đủ tiêu chuẩn, trước hết nên phán đoán từ mặt toàn cục:

PR có thỏa mãn issue không, có phù hợp với mục tiêu dự án không, bố cục file và lựa chọn kiến trúc có hợp lý không, cuối cùng mới là vấn đề cú pháp và chi tiết.

Gần đây sắp sửa thêm một chế độ reviewer cho holon rồi.
Mọi người hiện tại có thực sự đang dùng reviewer agent không? Thường dùng cái gì?