Asistenti, agenti a oprávnění

Zjistěte, jak systém jedná

Asistent může vysvětlit kód, navrhnout plán nebo doporučit implementaci. Agent může také používat nástroje a zasahovat do prostředí. Názvy produktů neposkytují spolehlivé rozlišení. Některá chatová rozhraní umějí spouštět příkazy. Některé programovací nástroje pouze navrhují text.

Prozkoumejte dostupné nástroje. Užitečný popis uvádí, co systém může číst, měnit, spouštět a zveřejňovat. Určuje také, jaké přihlašovací údaje a prostředí každá akce používá.

Anthropic odlišuje předem definované pracovní postupy od agentů, kteří si sami volí posloupnost použití nástrojů. Toto rozlišení pomáhá vysvětlit průběh práce. Neurčuje, zda je konkrétní akce bezpečná. Oba přístupy potřebují výslovně vymezená oprávnění.

Oddělte cíl od oprávnění

Představte si fiktivní požadavek: „Oprav export faktur.“ Agent může prozkoumat repozitář, reprodukovat chybu, upravit větev a spustit kontroly. Ve svém prostředí může najít i přihlašovací údaje k produkční databázi.

Cíl neopravňuje ke každé dostupné akci. Čtení produkční tabulky, změna faktur a nasazení nové verze mají různé následky. Obecný pokyn „dokonči úkol“ nevysvětluje, které z těchto akcí organizace povoluje.

Hranice stanovte před zahájením práce. V tomto příkladu může agent používat vymyšlená data a lokální databázi. Může vytvořit pull request. Nesmí přistupovat k produkčním záznamům ani nasadit změnu. Tyto akce řeší samostatný proces vydávání.

Vynucujte oprávnění technickými opatřeními

Pokyny pomáhají agentovi pochopit úkol. Přihlašovací údaje a řízení přístupu určují, co agent skutečně dokáže provést. Použijte obojí.

Úkol pouze pro čtení nemá dostat přihlašovací údaje pro zápis jen proto, že je to pohodlné. Testovací prostředí nemá bez upozornění zdědit přístup do produkce. Prověřte propojení mezi nástroji, identitami a prostředky. Zdánlivě neškodný příkaz může mít velký dopad, pokud používá identitu s rozsáhlými oprávněními.

Určete, kdy se práce musí zastavit

Agent potřebuje podmínku zastavení pro případ, že další akce překročí jeho oprávnění. Potřebuje ji také tehdy, když důkazy nestačí.

V příkladu s fakturami se zastavte, pokud chyba vyžaduje opravu produkčních dat. Zastavte se, pokud požadované chování odporuje zdokumentovanému účetnímu pravidlu. Nahlaste rozpor s příslušnými důkazy a uveďte, jaké rozhodnutí je potřeba od odpovědné osoby.

Pro opakované pokusy je užitečný časový nebo nákladový limit. Nenahrazuje však hranice oprávnění. Deset povolených pokusů a jedno nepovolené nasazení představují odlišné problémy.

Posuďte výsledek i záznam akcí

Po dokončení nezkoumejte jen závěrečnou odpověď. Zkontrolujte změněné soubory, provedené kontroly a zbývající nejistotu. Ověřte, zda akce zůstaly v dohodnutém rozsahu.

Schopný agent může omezit ruční práci. Organizace stále musí určit povolené akce, ověřit důležité výsledky a nést odpovědnost za rozhodnutí o vydání. Vyšší autonomie zvyšuje význam těchto odpovědností.