Асистенти, агенти та права доступу

Визначте, як діє система

Асистент може пояснювати код, пропонувати план або реалізацію. Агент також може використовувати інструменти та діяти в середовищі. Назви продуктів не дають надійної межі. Деякі чат-інтерфейси можуть виконувати команди. Деякі інструменти програмування лише пропонують текст.

Перевірте доступні інструменти. Корисний опис визначає, що система може читати, змінювати, виконувати й публікувати. Він також вказує, які облікові дані та середовище використовує кожна дія.

Anthropic відрізняє наперед визначені робочі процеси від агентів, які самі обирають послідовність використання інструментів. Ця різниця допомагає пояснити перебіг роботи. Вона не визначає, чи безпечна конкретна дія. Обидва підходи потребують явних меж прав доступу.

Відокремлюйте мету від дозволу

Розгляньмо вигаданий запит: «Виправ експорт рахунків». Агент може переглянути репозиторій, відтворити дефект, відредагувати гілку й запустити перевірки. Він також може знайти у своєму середовищі облікові дані для продуктивної бази даних.

Мета не дозволяє виконувати всі доступні дії. Читання продуктивної таблиці, зміна записів рахунків і розгортання нової версії мають різні наслідки. Загальна інструкція «заверши задачу» не пояснює, які з цих дій дозволяє організація.

Визначте межі перед початком роботи. У цьому прикладі агент може використовувати вигадані дані та локальну базу даних. Він може створити pull request. Він не може отримувати доступ до продуктивних записів або розгортати зміну. За ці дії відповідає окремий процес випуску.

Обмежуйте повноваження технічними засобами

Інструкції допомагають агенту зрозуміти задачу. Облікові дані й засоби контролю доступу визначають, що він насправді може зробити. Використовуйте обидва засоби.

Задача лише для читання не повинна отримувати облікові дані з правом запису тільки заради зручності. Тестове середовище не повинне непомітно успадковувати доступ до продуктивного середовища. Перегляньте зв’язки між інструментами, ідентичностями та ресурсами. Команда, що здається нешкідливою, може мати значні наслідки, якщо виконується від імені ідентичності з широкими правами.

Визначте, коли робота має зупинитися

Агенту потрібна умова зупинки, коли наступна дія перевищує його повноваження. Вона також потрібна, коли доказів недостатньо.

У прикладі з рахунками зупиніться, якщо дефект потребує виправлення продуктивних даних. Зупиніться, якщо запитувана поведінка суперечить задокументованому правилу бухгалтерського обліку. Повідомте про суперечність, надайте відповідні докази та вкажіть рішення, потрібне від відповідального.

Обмеження часу або вартості корисне для повторних спроб. Воно не замінює межу прав доступу. Десять дозволених спроб і одне несанкціоноване розгортання — це різні проблеми.

Оцінюйте результат і журнал дій

Після завершення перевірте не лише остаточну відповідь. Перегляньте змінені файли, виконані перевірки та залишкову невизначеність. Перевірте, чи залишалися дії в погоджених межах.

Спроможний агент може зменшити обсяг ручної роботи. Організація все одно має визначити дозволені дії, перевірити важливі результати та взяти відповідальність за рішення про випуск. Більша автономність підвищує важливість цих обов’язків.