Asistenti, agenti a oprávnenia

Zistite, ako systém koná

Asistent môže vysvetliť kód, navrhnúť plán alebo odporučiť implementáciu. Agent môže navyše používať nástroje a zasahovať do prostredia. Názvy produktov neposkytujú spoľahlivú hranicu. Niektoré chatové rozhrania dokážu spúšťať príkazy. Niektoré programovacie nástroje iba navrhujú text.

Preskúmajte dostupné nástroje. Užitočný opis uvádza, čo systém môže čítať, meniť, spúšťať a publikovať. Zároveň určuje, ktoré prihlasovacie údaje a prostredie používa každá akcia.

Anthropic rozlišuje preddefinované pracovné postupy od agentov, ktorí si sami volia poradie používania nástrojov. Toto rozlíšenie pomáha vysvetliť priebeh práce. Neurčuje, či je konkrétna akcia bezpečná. Oba prístupy potrebujú výslovné hranice oprávnení.

Oddeľte cieľ od oprávnenia

Uvažujme o fiktívnej požiadavke: „Opravte export faktúr.“ Agent môže preskúmať repozitár, reprodukovať chybu, upraviť vetvu a spustiť kontroly. Vo svojom prostredí môže nájsť aj prihlasovacie údaje k produkčnej databáze.

Cieľ neoprávňuje na každú dostupnú akciu. Čítanie produkčnej tabuľky, zmena záznamov faktúr a nasadenie novej verzie majú rozdielne dôsledky. Všeobecný pokyn „dokončite úlohu“ nevysvetľuje, ktoré z týchto akcií organizácia povoľuje.

Určte hranice pred začiatkom práce. V tomto príklade môže agent používať vymyslené údaje a lokálnu databázu. Môže vytvoriť pull request. Nemôže pristupovať k produkčným záznamom ani nasadiť zmenu. Tieto akcie rieši samostatný proces vydávania.

Vynucujte právomoci technickými kontrolami

Pokyny pomáhajú agentovi pochopiť úlohu. Prihlasovacie údaje a riadenie prístupu určujú, čo agent skutočne dokáže urobiť. Používajte oboje.

Úloha iba na čítanie nemá dostať prihlasovacie údaje na zápis len preto, že je to pohodlné. Testovacie prostredie nesmie bez upozornenia zdediť produkčný prístup. Preskúmajte prepojenia medzi nástrojmi, identitami a zdrojmi. Zdanlivo neškodný príkaz môže mať veľký účinok, ak používa identitu so širokými oprávneniami.

Definujte, kedy sa práca musí zastaviť

Agent potrebuje podmienku zastavenia, keď nasledujúca akcia prekračuje jeho právomoci. Potrebuje ju aj vtedy, keď dôkazy nestačia.

V príklade s faktúrami zastavte prácu, ak chyba vyžaduje opravu produkčných údajov. Zastavte ju aj vtedy, ak požadované správanie odporuje zdokumentovanému účtovnému pravidlu. Oznámte rozpor, relevantné dôkazy a rozhodnutie, ktoré potrebujete od zodpovednej osoby.

Pri opakovaných pokusoch je užitočný časový alebo nákladový limit. Nenahrádza hranice oprávnení. Desať povolených pokusov a jedno nepovolené nasadenie sú odlišné problémy.

Vyhodnoťte výsledok aj záznam akcií

Po dokončení preskúmajte viac než záverečnú odpoveď. Skontrolujte zmenené súbory, vykonané kontroly a zostávajúcu neistotu. Overte, či akcie zostali v dohodnutom rozsahu.

Schopný agent môže znížiť množstvo manuálnej práce. Organizácia stále musí definovať povolené akcie, overovať dôležité výsledky a niesť zodpovednosť za rozhodnutie o vydaní. Väčšia autonómia zvyšuje význam týchto povinností.