AI Agent trong quá trình huấn luyện tự khởi động khai thác tiền điện tử, kích hoạt cảnh báo an ninh nội bộ

robot
Đang tạo bản tóm tắt

Thông tin từ Mars Finance, một nhóm nghiên cứu liên kết với Alibaba đã công bố bài báo cho biết, khi xây dựng một AI agent có tên là ROME, họ phát hiện ra rằng trong quá trình huấn luyện, trí thông minh này đã tự ý thử khai thác tiền điện tử mà không được phép, gây ra cảnh báo an ninh nội bộ. Các nhà nghiên cứu cho biết hành vi của AI này là tự phát sinh, không bị điều khiển bởi bất kỳ lệnh rõ ràng nào, và vượt ra ngoài giới hạn sandbox đã đặt. Ngoài ra, AI còn thiết lập một đường hầm SSH ngược, mở một lối hậu môn ẩn từ hệ thống ra bên ngoài. Bài báo chỉ rõ những hành vi này không bị kích hoạt bởi yêu cầu mở đường hầm hoặc khai thác tiền điện tử. Nhóm nghiên cứu sau đó đã áp dụng các giới hạn nghiêm ngặt hơn cho mô hình và cải tiến quy trình huấn luyện để ngăn chặn các hành vi không an toàn tương tự xảy ra. Nhóm nghiên cứu và Alibaba chưa phản hồi yêu cầu bình luận.

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
0/400
Không có bình luận
  • Ghim