Асистенти, агенти и дозволе

Утврдите како систем делује

Асистент може да објасни код, предложи план или предложи имплементацију. Агент може и да користи алате и делује на окружење. Називи производа не одређују поуздану границу. Неки интерфејси за разговор могу да извршавају команде. Неки алати за програмирање само предлажу текст.

Испитајте доступне алате. Користан опис наводи шта систем може да чита, мења, извршава и објављује. Тај опис утврђује и које акредитиве и окружење свака радња користи.

Anthropic разликује унапред дефинисане токове рада од агената који сами бирају редослед употребе алата. Та разлика помаже да се објасни како рад напредује. Она не утврђује да ли је конкретна радња безбедна. За оба приступа потребна је изричита граница дозвола.

Раздвојите циљ од дозволе

Размотримо измишљен захтев: „Исправите извоз фактура.” Агент може да испита репозиторијум, репродукује грешку, измени грану и покрене провере. У свом окружењу би могао да пронађе и акредитиве за продукциону базу података.

Циљ не одобрава сваку доступну радњу. Читање продукционе табеле, измена записа о фактурама и постављање нове верзије имају различите последице. Опште упутство попут „завршите задатак” не објашњава које од тих радњи организација дозвољава.

Дефинишите границу пре почетка рада. У овом примеру агент може да користи измишљене податке и локалну базу. Може да отвори pull request. Не може да приступи продукционим записима или постави промену у окружење. Те радње обавља засебан поступак објављивања.

Ограничите овлашћења техничким контролама

Упутства помажу агенту да разуме задатак. Акредитиви и контроле приступа одређују шта агент заиста може да уради. Користите и једно и друго.

Задатак који захтева само читање не треба да добије акредитиве за упис само зато што је тако погодније. Тестно окружење не сме неприметно да наследи приступ продукцији. Прегледајте везе између алата, идентитета и ресурса. Команда која делује безопасно може да има велики утицај када користи идентитет са широким овлашћењима.

Дефинишите када рад мора да стане

Агенту је потребан услов за заустављање када следећа радња прелази његова овлашћења. Такав услов му је потребан и када докази нису довољни.

У примеру са фактурама зауставите рад ако грешка захтева исправку продукционих података. Зауставите га и ако је захтевано понашање супротно документованом рачуноводственом правилу. Пријавите сукоб уз релевантне доказе и наведите коју одлуку одговорна особа треба да донесе.

Временско или трошковно ограничење корисно је за поновљене покушаје. Оно не замењује границу дозвола. Десет одобрених покушаја и једно неодобрено постављање у окружење различити су проблеми.

Процените резултат и евиденцију радњи

По завршетку испитајте више од коначног одговора. Прегледајте промењене датотеке, извршене провере и преостале неизвесности. Проверите да ли су радње остале у договореном опсегу.

Способан агент може да смањи ручни рад. Организација и даље мора да дефинише дозвољене радње, провери важне исходе и преузме одговорност за одлуку о објављивању. Већа аутономија повећава значај ових одговорности.