Trợ lý, agent và quyền thực thi

Xác định cách hệ thống hành động

Trợ lý có thể giải thích mã, đề xuất kế hoạch hoặc gợi ý cách triển khai mã. Agent còn có thể dùng công cụ và tác động tới môi trường. Tên sản phẩm không xác lập ranh giới đáng tin cậy. Một số giao diện chat có thể thực thi lệnh. Một số công cụ lập trình chỉ gợi ý văn bản.

Kiểm tra các công cụ khả dụng. Mô tả hữu ích cần nêu hệ thống có thể đọc, thay đổi, thực thi và công bố những gì. Mô tả cũng phải xác định thông tin xác thực và môi trường mà từng hành động sử dụng.

Anthropic phân biệt workflow được định trước với agent tự chọn trình tự dùng công cụ. Sự phân biệt này giúp giải thích cách công việc diễn ra. Nó không quyết định một hành động cụ thể có an toàn hay không. Cả hai thiết kế đều cần ranh giới quyền rõ ràng.

Tách mục tiêu khỏi quyền

Xét yêu cầu giả định: “Sửa chức năng xuất hóa đơn.” Agent có thể kiểm tra repository, tái hiện lỗi, sửa branch và chạy kiểm tra. Agent cũng có thể tìm thấy thông tin xác thực của cơ sở dữ liệu production trong môi trường.

Mục tiêu không cho phép mọi hành động khả dụng. Đọc bảng production, sửa bản ghi hóa đơn và triển khai phiên bản mới có hậu quả khác nhau. Chỉ dẫn rộng như “hoàn thành nhiệm vụ” không giải thích tổ chức cho phép hành động nào trong số đó.

Xác định giới hạn trước khi bắt đầu. Trong ví dụ này, agent có thể dùng dữ liệu giả định và cơ sở dữ liệu cục bộ. Agent có thể tạo pull request. Agent không thể truy cập bản ghi production hay triển khai thay đổi. Quy trình phát hành riêng xử lý các hành động đó.

Dùng biện pháp kỹ thuật để kiểm soát thẩm quyền

Chỉ dẫn giúp agent hiểu nhiệm vụ. Thông tin xác thực và biện pháp kiểm soát truy cập quyết định agent thực sự có thể làm gì. Hãy dùng cả hai.

Không cấp thông tin xác thực có quyền ghi cho nhiệm vụ chỉ đọc vì thuận tiện. Môi trường thử nghiệm không được âm thầm kế thừa quyền truy cập production. Review kết nối giữa công cụ, danh tính và tài nguyên. Lệnh trông có vẻ vô hại có thể gây tác động lớn khi dùng danh tính có nhiều quyền.

Xác định khi nào công việc phải dừng

Agent cần điều kiện dừng khi hành động tiếp theo vượt thẩm quyền. Agent cũng cần điều kiện dừng khi không đủ bằng chứng.

Với ví dụ hóa đơn, hãy dừng nếu lỗi đòi hỏi sửa dữ liệu production. Dừng nếu hành vi được yêu cầu xung đột với quy tắc kế toán đã ghi trong tài liệu. Báo cáo xung đột cùng bằng chứng liên quan và quyết định cần người phụ trách đưa ra.

Giới hạn thời gian hoặc chi phí hữu ích cho các lần thử lặp lại. Nó không thay thế ranh giới quyền. Mười lần thử được phép và một lần triển khai trái phép là các vấn đề khác nhau.

Đánh giá kết quả và hồ sơ hành động

Khi hoàn tất, kiểm tra nhiều hơn câu trả lời cuối cùng. Review các tệp đã thay đổi, kiểm tra đã thực thi và điểm chưa chắc chắn còn lại. Kiểm tra các hành động có nằm trong phạm vi đã thống nhất hay không.

Agent có năng lực có thể giảm công việc thủ công. Tổ chức vẫn cần xác định hành động được phép, kiểm chứng kết quả quan trọng và chịu trách nhiệm quyết định phát hành. Mức tự chủ càng cao thì những trách nhiệm này càng quan trọng.