Asystenci, agenty i uprawnienia

Sprawdź, jak działa system

Asystent może wyjaśnić kod, zaproponować plan lub implementację. Agent może dodatkowo używać narzędzi i działać w środowisku. Nazwy produktów nie wyznaczają wiarygodnej granicy. Niektóre interfejsy czatu wykonują polecenia. Niektóre narzędzia programistyczne tylko proponują tekst.

Sprawdź dostępne narzędzia. Przydatny opis określa, co system może odczytać, zmienić, wykonać i opublikować. Wskazuje też dane uwierzytelniające i środowisko używane przez każde działanie.

Anthropic rozróżnia wcześniej zdefiniowane workflow od agentów, które samodzielnie wybierają kolejność użycia narzędzi. To rozróżnienie pomaga wyjaśnić przebieg pracy. Nie określa jednak, czy dane działanie jest bezpieczne. Oba rozwiązania wymagają wyraźnych granic uprawnień.

Oddziel cel od uprawnienia

Rozważ fikcyjne polecenie: „Napraw eksport faktur”. Agent może sprawdzić repozytorium, odtworzyć błąd, edytować branch i uruchomić kontrole. W swoim środowisku może też znaleźć dane dostępowe do produkcyjnej bazy danych.

Cel nie upoważnia do każdego dostępnego działania. Odczyt tabeli produkcyjnej, zmiana rekordów faktur i wdrożenie nowej wersji mają różne konsekwencje. Ogólne polecenie „wykonaj zadanie” nie wyjaśnia, na które z tych działań pozwala organizacja.

Określ granicę przed rozpoczęciem pracy. W tym przykładzie agent może używać wymyślonych danych i lokalnej bazy. Może utworzyć pull request. Nie może korzystać z rekordów produkcyjnych ani wdrożyć zmiany. Te działania obsługuje osobny proces wydania.

Egzekwuj uprawnienia technicznie

Instrukcje pomagają agentowi zrozumieć zadanie. Dane uwierzytelniające i kontrola dostępu określają, co agent rzeczywiście może zrobić. Stosuj oba środki.

Zadanie tylko do odczytu nie powinno dostawać danych uwierzytelniających z prawem zapisu tylko dla wygody. Środowisko testowe nie powinno niejawnie dziedziczyć dostępu do produkcji. Przejrzyj połączenia między narzędziami, tożsamościami i zasobami. Pozornie niewinne polecenie może wiele zmienić, jeśli korzysta z tożsamości o szerokich uprawnieniach.

Określ warunki zatrzymania

Agent potrzebuje warunku zatrzymania, gdy kolejne działanie przekracza jego uprawnienia. Potrzebuje go również wtedy, gdy dowody nie wystarczają.

W przykładzie z fakturami zatrzymaj pracę, jeśli błąd wymaga poprawienia danych produkcyjnych. Zatrzymaj ją także wtedy, gdy oczekiwane zachowanie narusza udokumentowaną regułę księgową. Zgłoś sprzeczność wraz z dowodami i decyzją, którą musi podjąć osoba odpowiedzialna.

Limit czasu lub kosztu przydaje się przy kolejnych próbach. Nie zastępuje granicy uprawnień. Dziesięć dozwolonych prób i jedno nieautoryzowane wdrożenie to różne problemy.

Oceń wynik i rejestr działań

Po zakończeniu sprawdź więcej niż samą odpowiedź końcową. Przejrzyj zmienione pliki, wykonane kontrole i pozostałe niewiadome. Sprawdź, czy działania mieściły się w uzgodnionym zakresie.

Sprawny agent może ograniczyć pracę ręczną. Organizacja nadal musi określać dozwolone działania, weryfikować ważne wyniki i odpowiadać za decyzję o wydaniu. Większa autonomia zwiększa znaczenie tych obowiązków.