Assistenter, agenter og rettigheder

Undersøg, hvordan systemet handler

En assistent kan forklare kode, foreslå en plan eller skitsere en implementering. En agent kan også bruge værktøjer og handle i sit miljø. Produktnavne giver ikke en pålidelig afgrænsning. Nogle chatgrænseflader kan udføre kommandoer. Nogle kodeværktøjer foreslår kun tekst.

Undersøg de tilgængelige værktøjer. En brugbar beskrivelse angiver, hvad systemet kan læse, ændre, udføre og publicere. Beskrivelsen angiver også, hvilke adgangsoplysninger og hvilket miljø hver handling bruger.

Anthropic skelner mellem foruddefinerede arbejdsgange og agenter, der selv vælger rækkefølgen af deres værktøjsbrug. Forskellen forklarer, hvordan arbejdet forløber. Den afgør ikke, om en konkret handling er sikker. Begge tilgange kræver udtrykkelige grænser for rettigheder.

Skeln mellem et mål og en tilladelse

Overvej en fiktiv opgave: »Ret fakturaeksporten.« En agent kan undersøge repositoryet, genskabe fejlen, redigere en branch og køre kontroller. Den kan også finde adgangsoplysninger til produktionsdatabasen i sit miljø.

Målet giver ikke tilladelse til alle tilgængelige handlinger. At læse en produktionstabel, ændre fakturaposter og udrulle en ny version har forskellige konsekvenser. En bred instruktion som »færdiggør opgaven« forklarer ikke, hvilke af disse handlinger organisationen tillader.

Fastlæg grænsen, før arbejdet starter. I dette eksempel må agenten bruge opdigtede data og en lokal database. Den må oprette en pull request. Den må ikke tilgå produktionsdata eller udrulle ændringen. En særskilt releaseproces håndterer disse handlinger.

Håndhæv bemyndigelsen med tekniske kontroller

Instruktioner hjælper agenten med at forstå opgaven. Adgangsoplysninger og adgangskontroller afgør, hvad agenten faktisk kan gøre. Brug begge dele.

En læseopgave bør ikke få adgangsoplysninger med skriverettigheder, blot fordi det er praktisk. Et testmiljø bør ikke ubemærket arve adgang til produktion. Gennemgå forbindelserne mellem værktøjer, identiteter og ressourcer. En tilsyneladende harmløs kommando kan få stor virkning, hvis den bruger en identitet med omfattende rettigheder.

Definér, hvornår arbejdet skal stoppe

En agent skal have en stopbetingelse, når næste handling overskrider dens bemyndigelse. Den skal også have en, når dokumentationen er utilstrækkelig.

I fakturaeksemplet skal agenten stoppe, hvis fejlen kræver en rettelse af produktionsdata. Den skal stoppe, hvis den ønskede adfærd strider mod den dokumenterede regnskabsregel. Beskriv konflikten med den relevante dokumentation og den beslutning, der kræves fra en ansvarlig.

En tids- eller omkostningsgrænse er nyttig ved gentagne forsøg. Den erstatter ikke en grænse for rettigheder. Ti tilladte forsøg og én uautoriseret udrulning er forskellige problemer.

Vurdér resultatet og registreringen af handlinger

Når arbejdet er afsluttet, skal du undersøge mere end det sidste svar. Gennemgå de ændrede filer, de udførte kontroller og den resterende usikkerhed. Kontrollér, om handlingerne holdt sig inden for det aftalte omfang.

En dygtig agent kan reducere manuelt arbejde. Organisationen skal stadig definere de tilladte handlinger, verificere vigtige resultater og tage ansvar for releasebeslutningen. Mere autonomi gør disse ansvarsområder vigtigere.