Помощници, агенти и права

Установете как действа системата

Помощник може да обясни код, да предложи план или реализация. Агент може също да използва инструменти и да действа върху средата. Имената на продуктите не дават надеждна граница. Някои чат интерфейси могат да изпълняват команди. Някои инструменти за програмиране само предлагат текст.

Прегледайте наличните инструменти. Полезното описание посочва какво системата може да чете, променя, изпълнява и публикува. То определя и какви данни за удостоверяване и среда използва всяко действие.

Anthropic разграничава предварително зададените работни процеси от агентите, които сами избират последователността на използване на инструменти. Разликата помага да се обясни как протича работата. Тя не определя дали конкретно действие е безопасно. И двата подхода се нуждаят от изрична граница на правата.

Разграничете целта от разрешението

Разгледайте измислено искане: „Поправете експорта на фактури.“ Агент може да прегледа хранилището, да възпроизведе дефекта, да редактира клон и да изпълни проверки. Може и да намери в средата си данни за удостоверяване към продукционната база данни.

Целта не разрешава всяко налично действие. Четенето на продукционна таблица, промяната на фактурни записи и внедряването на нова версия имат различни последствия. Обща инструкция като „завършете задачата“ не обяснява кои от тези действия допуска организацията.

Определете границата преди началото на работата. В този пример агентът може да използва измислени данни и локална база данни. Може да създаде pull request. Не може да достъпва продукционни записи или да внедрява промяната. Отделен процес за пускане управлява тези действия.

Прилагайте технически контроли върху правомощията

Инструкциите помагат на агента да разбере задачата. Данните за удостоверяване и контролите за достъп определят какво действително може да прави. Използвайте и двете.

Задача само за четене не трябва да получава данни за достъп с право на запис просто за удобство. Тестова среда не трябва неявно да наследява достъп до продукционната. Прегледайте връзките между инструменти, идентичности и ресурси. Привидно безобидна команда може да има голям ефект, когато използва идентичност с широки права.

Определете кога работата трябва да спре

Агентът се нуждае от условие за спиране, когато следващото действие надхвърля правомощията му. Такова условие е нужно и когато доказателствата са недостатъчни.

В примера с фактурите спрете, ако дефектът изисква поправка на продукционни данни. Спрете, ако исканото поведение противоречи на документираното счетоводно правило. Докладвайте противоречието със съответните доказателства и решението, необходимо от отговорник.

Ограничение на времето или разходите е полезно при повторни опити. То не заменя границата на правата. Десет разрешени опита и едно неразрешено внедряване са различни проблеми.

Оценете резултата и записа на действията

При завършване прегледайте повече от крайния отговор. Проверете променените файлове, изпълнените проверки и оставащата несигурност. Проверете дали действията са останали в договорения обхват.

Способен агент може да намали ръчната работа. Организацията все още трябва да определи разрешените действия, да провери важните резултати и да носи отговорността за решението за пускане. Повече автономност увеличава значението на тези отговорности.