Asistenti, agenti i ovlasti

Utvrdite kako sustav djeluje

Asistent može objasniti kod, predložiti plan ili implementaciju. Agent može i upotrebljavati alate te djelovati u okruženju. Nazivi proizvoda ne daju pouzdanu granicu. Neka sučelja za razgovor mogu izvršavati naredbe. Neki alati za programiranje samo predlažu tekst.

Pregledajte dostupne alate. Koristan opis navodi što sustav može čitati, mijenjati, izvršavati i objavljivati. Također navodi koje vjerodajnice i okruženje upotrebljava svaka radnja.

Anthropic razlikuje unaprijed definirane radne procese od agenata koji sami odabiru redoslijed upotrebe alata. Ta razlika pomaže objasniti kako rad napreduje. Ne određuje je li konkretna radnja sigurna. Oba pristupa zahtijevaju izričitu granicu ovlasti.

Odvojite cilj od dopuštenja

Razmotrite izmišljeni zahtjev: „Ispravite izvoz računa.” Agent može pregledati repozitorij, reproducirati pogrešku, urediti granu i pokrenuti provjere. U okruženju može pronaći i vjerodajnice za produkcijsku bazu podataka.

Cilj ne dopušta svaku dostupnu radnju. Čitanje produkcijske tablice, promjena zapisa računa i postavljanje nove verzije imaju različite posljedice. Široka uputa poput „dovršite zadatak” ne objašnjava koje od tih radnji organizacija dopušta.

Definirajte granicu prije početka rada. U ovom primjeru agent može upotrebljavati izmišljene podatke i lokalnu bazu. Može otvoriti pull request. Ne može pristupiti produkcijskim zapisima ni postaviti promjenu. Tim radnjama upravlja zaseban proces izdavanja.

Provedite ovlasti tehničkim kontrolama

Upute pomažu agentu razumjeti zadatak. Vjerodajnice i kontrole pristupa određuju što stvarno može učiniti. Upotrijebite oboje.

Zadatak samo za čitanje ne treba dobiti vjerodajnice za pisanje samo zato što je to praktično. Testno okruženje ne smije neprimjetno naslijediti produkcijski pristup. Pregledajte veze između alata, identiteta i resursa. Naizgled bezopasna naredba može imati velik učinak ako upotrebljava identitet sa širokim ovlastima.

Definirajte kad se rad mora zaustaviti

Agent treba uvjet zaustavljanja kad sljedeća radnja premašuje njegove ovlasti. Treba ga i kad dokazi nisu dovoljni.

U primjeru računa zaustavite rad ako pogreška zahtijeva ispravak produkcijskih podataka. Zaustavite ga ako traženo ponašanje proturječi dokumentiranom računovodstvenom pravilu. Prijavite sukob s relevantnim dokazima i odlukom koju treba donijeti odgovorna osoba.

Vremensko ili troškovno ograničenje korisno je za ponovljene pokušaje. Ne zamjenjuje granicu ovlasti. Deset odobrenih pokušaja i jedno neodobreno postavljanje različiti su problemi.

Procijenite rezultat i zapis radnji

Po završetku pregledajte više od konačnog odgovora. Pregledajte promijenjene datoteke, izvršene provjere i preostalu nesigurnost. Provjerite jesu li radnje ostale u dogovorenom opsegu.

Sposoban agent može smanjiti ručni rad. Organizacija i dalje mora definirati dopuštene radnje, provjeriti važne rezultate i preuzeti odgovornost za odluku o izdavanju. Veća autonomija povećava važnost tih odgovornosti.