Памочнікі, агенты і дазволы

Вызначце, як дзейнічае сістэма

Памочнік можа растлумачыць код, прапанаваць план або варыянт рэалізацыі. Агент таксама можа карыстацца інструментамі і ўздзейнічаць на асяроддзе. Назвы прадуктаў не даюць надзейнай мяжы. Некаторыя інтэрфейсы чата могуць выконваць каманды. Некаторыя інструменты для кода толькі прапануюць тэкст.

Праверце даступныя інструменты. Карыснае апісанне паказвае, што сістэма можа чытаць, змяняць, выконваць і публікаваць. Яно таксама вызначае, якія ўліковыя даныя і асяроддзе выкарыстоўвае кожнае дзеянне.

Anthropic адрознівае загадзя зададзеныя працоўныя працэсы ад агентаў, якія самі выбіраюць паслядоўнасць выкарыстання інструментаў. Гэтае адрозненне дапамагае растлумачыць ход працы. Яно не вызначае, ці бяспечнае канкрэтнае дзеянне. Абодва падыходы патрабуюць выразных межаў дазволаў.

Аддзяляйце мэту ад дазволу

Разгледзім выдуманы запыт: «Выпраўце экспарт рахункаў-фактур». Агент можа вывучыць рэпазіторый, узнавіць дэфект, адрэдагаваць галіну і запусціць праверкі. Ён таксама можа знайсці ў сваім асяроддзі ўліковыя даныя базы даных production.

Мэта не дазваляе кожнае даступнае дзеянне. Чытанне табліцы ў production, змяненне запісаў рахункаў-фактур і разгортванне новай версіі маюць розныя наступствы. Шырокая інструкцыя накшталт «выканай задачу» не тлумачыць, якія з гэтых дзеянняў дазваляе арганізацыя.

Вызначце межы да пачатку працы. У гэтым прыкладзе агент можа выкарыстоўваць выдуманыя даныя і лакальную базу даных. Ён можа стварыць pull request. Ён не можа атрымліваць доступ да запісаў у production або разгортваць змену. Гэтыя дзеянні выконвае асобны працэс выпуску.

Абмяжоўвайце паўнамоцтвы тэхнічнымі сродкамі

Інструкцыі дапамагаюць агенту зразумець задачу. Уліковыя даныя і сродкі кантролю доступу вызначаюць, што агент сапраўды можа зрабіць. Выкарыстоўвайце абодва падыходы.

Задача толькі для чытання не павінна атрымліваць уліковыя даныя для запісу толькі таму, што так зручна. Тэставае асяроддзе не павінна незаўважна атрымліваць доступ да production. Праверце сувязі паміж інструментамі, ідэнтычнасцямі і рэсурсамі. Каманда, якая выглядае бяскрыўднай, можа мець вялікі ўплыў, калі выконваецца ад імя суб’екта з шырокімі правамі.

Вызначце, калі праца павінна спыніцца

Агенту патрэбная ўмова спынення, калі наступнае дзеянне выходзіць за межы яго паўнамоцтваў. Яна таксама патрэбная, калі доказаў недастаткова.

У прыкладзе з рахункамі-фактурамі спыніцеся, калі для выпраўлення дэфекту трэба змяніць даныя ў production. Спыніцеся, калі запытаныя паводзіны супярэчаць задакументаванаму правілу бухгалтарскага ўліку. Паведаміце пра супярэчнасць, адпаведныя доказы і рашэнне, якое павінен прыняць адказны.

Ліміт часу або выдаткаў карысны для паўторных спроб. Ён не замяняе мяжу дазволаў. Дзесяць дазволеных спроб і адно несанкцыянаванае разгортванне — розныя праблемы.

Ацэньвайце вынік і запіс дзеянняў

Пасля завяршэння праверце не толькі канчатковы адказ. Перагледзьце змененыя файлы, выкананыя праверкі і астатнюю нявызначанасць. Праверце, ці заставаліся дзеянні ў межах узгодненага абсягу.

Здольны агент можа скараціць ручную працу. Арганізацыя ўсё роўна павінна вызначаць дазволеныя дзеянні, правяраць істотныя вынікі і несці адказнасць за рашэнне аб выпуску. Большая аўтаномнасць павялічвае важнасць гэтых абавязкаў.