Asistenti, agenti i dozvole

Utvrdite kako sistem djeluje

Asistent može objasniti kod, predložiti plan ili predložiti implementaciju. Agent može i koristiti alate te djelovati u okruženju. Nazivi proizvoda ne daju pouzdanu granicu. Neki interfejsi za razgovor mogu izvršavati naredbe. Neki alati za kodiranje samo predlažu tekst.

Pregledajte dostupne alate. Koristan opis navodi šta sistem može čitati, mijenjati, izvršavati i objavljivati. Taj opis utvrđuje i koje pristupne podatke i okruženje koristi svaka radnja.

Anthropic razlikuje unaprijed definisane radne tokove od agenata koji sami odabiru redoslijed korištenja alata. Ova razlika pomaže objasniti kako rad napreduje. Ne određuje je li konkretna radnja sigurna. Oba pristupa trebaju izričitu granicu dozvola.

Odvojite cilj od dozvole

Razmotrite izmišljeni zahtjev: „Popravite izvoz faktura.“ Agent može pregledati repozitorij, reproducirati grešku, urediti granu i izvršiti provjere. U svom okruženju mogao bi pronaći i pristupne podatke za produkcijsku bazu podataka.

Cilj ne ovlašćuje svaku dostupnu radnju. Čitanje produkcijske tabele, mijenjanje zapisa faktura i raspoređivanje nove verzije imaju različite posljedice. Široka instrukcija poput „završite zadatak“ ne objašnjava koje od ovih radnji organizacija dozvoljava.

Odredite granicu prije početka rada. U ovom primjeru agent može koristiti izmišljene podatke i lokalnu bazu. Može otvoriti zahtjev za spajanje koda. Ne može pristupati produkcijskim zapisima niti rasporediti promjenu. Te radnje obrađuje poseban postupak izdavanja.

Koristite tehničke kontrole za ovlaštenja

Instrukcije pomažu agentu da razumije zadatak. Pristupni podaci i kontrole pristupa određuju šta agent stvarno može uraditi. Koristite oboje.

Zadatak samo za čitanje ne treba dobiti pristupne podatke za pisanje samo zato što je tako praktično. Testno okruženje ne treba prešutno naslijediti produkcijski pristup. Pregledajte veze između alata, identiteta i resursa. Naredba koja izgleda bezazleno može imati velik učinak kada koristi identitet sa širokim ovlaštenjima.

Odredite kada rad mora stati

Agentu treba uslov za zaustavljanje kada sljedeća radnja prelazi njegova ovlaštenja. Treba mu i kada nema dovoljno dokaza.

U primjeru s fakturama, zaustavite rad ako ispravka greške zahtijeva promjenu produkcijskih podataka. Zaustavite rad ako je traženo ponašanje u sukobu s dokumentovanim računovodstvenim pravilom. Prijavite sukob uz relevantne dokaze i odluku potrebnu od odgovorne osobe.

Vremensko ili troškovno ograničenje korisno je za ponovljene pokušaje. Ne zamjenjuje granicu dozvola. Deset ovlaštenih pokušaja i jedno neovlašteno raspoređivanje različiti su problemi.

Procijenite rezultat i zapis o radnjama

Na kraju pregledajte više od završnog odgovora. Pregledajte izmijenjene fajlove, izvršene provjere i preostalu neizvjesnost. Provjerite jesu li radnje ostale unutar dogovorenog opsega.

Sposoban agent može smanjiti ručni rad. Organizacija i dalje mora odrediti dozvoljene radnje, provjeriti važne ishode i preuzeti odgovornost za odluku o izdanju. Veća autonomija povećava važnost ovih odgovornosti.