Asisten, agen, dan izin

Kenali cara sistem bertindak

Asisten dapat menjelaskan kode, mengusulkan rencana, atau menyarankan implementasi. Agen juga dapat menggunakan alat dan bertindak pada lingkungan. Nama produk tidak memberikan batas yang dapat diandalkan. Sebagian antarmuka chat dapat menjalankan perintah. Sebagian alat pemrograman hanya menyarankan teks.

Periksa alat yang tersedia. Deskripsi yang berguna menyatakan apa yang dapat dibaca, diubah, dijalankan, dan dipublikasikan sistem. Deskripsi ini juga menyebutkan kredensial dan lingkungan yang digunakan setiap tindakan.

Anthropic membedakan alur kerja yang ditentukan sebelumnya dari agen yang memilih sendiri urutan penggunaan alat. Perbedaan ini membantu menjelaskan cara pekerjaan berjalan. Namun, perbedaan tersebut tidak menentukan apakah tindakan tertentu aman. Kedua rancangan memerlukan batas izin yang jelas.

Pisahkan tujuan dari izin

Perhatikan permintaan fiktif berikut: “Perbaiki ekspor faktur.” Agen dapat memeriksa repositori, mereproduksi cacat, mengedit branch, dan menjalankan pemeriksaan. Agen mungkin juga menemukan kredensial database produksi di lingkungannya.

Tujuan tidak mengizinkan semua tindakan yang tersedia. Membaca tabel produksi, mengubah data faktur, dan melakukan deployment versi baru memiliki konsekuensi berbeda. Instruksi luas seperti “selesaikan tugas” tidak menjelaskan tindakan mana yang diizinkan organisasi.

Tetapkan batas sebelum pekerjaan dimulai. Dalam contoh ini, agen boleh memakai data rekaan dan database lokal. Agen boleh membuat pull request. Agen tidak boleh mengakses data produksi atau melakukan deployment perubahan. Proses rilis terpisah menangani tindakan tersebut.

Gunakan kontrol teknis untuk membatasi kewenangan

Instruksi membantu agen memahami tugas. Kredensial dan kontrol akses menentukan apa yang benar-benar dapat dilakukan agen. Gunakan keduanya.

Tugas yang hanya membaca tidak boleh menerima kredensial tulis hanya karena lebih praktis. Lingkungan uji tidak boleh diam-diam mewarisi akses produksi. Tinjau hubungan antara alat, identitas, dan sumber daya. Perintah yang tampak tidak berbahaya dapat berdampak besar saat menggunakan identitas dengan kewenangan luas.

Tentukan kapan pekerjaan harus berhenti

Agen memerlukan kondisi penghentian saat tindakan berikutnya melampaui kewenangannya. Agen juga memerlukannya saat bukti belum cukup.

Untuk contoh faktur, hentikan pekerjaan jika cacat memerlukan perbaikan data produksi. Hentikan jika perilaku yang diminta bertentangan dengan aturan akuntansi yang didokumentasikan. Laporkan konflik beserta bukti terkait dan keputusan yang diperlukan dari penanggung jawab.

Batas waktu atau biaya berguna untuk percobaan berulang. Batas ini tidak menggantikan batas izin. Sepuluh percobaan yang diizinkan dan satu deployment tanpa izin adalah masalah yang berbeda.

Nilai hasil dan catatan tindakan

Saat tugas selesai, periksa lebih dari jawaban terakhir. Tinjau file yang berubah, pemeriksaan yang dijalankan, dan ketidakpastian yang tersisa. Periksa apakah tindakan tetap berada dalam lingkup yang disepakati.

Agen yang mampu dapat mengurangi pekerjaan manual. Organisasi tetap perlu menentukan tindakan yang diizinkan, memverifikasi hasil penting, dan bertanggung jawab atas keputusan rilis. Semakin besar otonomi, semakin penting tanggung jawab ini.