Постройте модель угроз для разработки с AI

Выберите ограниченный сценарий

Начните с одного понятного процесса. Например, агент читает задачу, изменяет репозиторий, запускает тесты и открывает pull request. Включите системы, которые делают эти действия возможными.

Перечислите важные активы: исходный код, информацию клиентов, учётные данные, артефакты релизов и доступность сервиса. Укажите их владельцев. Затем определите людей и системы, которые могут читать или изменять каждый актив.

OWASP рекомендует моделировать систему, выявлять угрозы, выбирать меры реагирования и проверять результат. Применяйте этот метод с ранних этапов и обновляйте модель при изменениях системы. Рекомендации по моделированию угроз.

Изобразите границы доверия

Для вымышленного процесса от задачи до PR изобразите следующие связи:

Задача → агент → репозиторий → среда запуска тестов → хранилище артефактов → развёртывание

Добавьте провайдера модели и хранилище секретов. Отметьте, где содержимое поступает из менее доверенного источника. Отметьте, где учётная запись получает новую возможность, например переходит от чтения задачи к записи файлов репозитория.

Одна схема приложения не показывает все риски разработки. База данных production может быть закрытой, а задание CI — раскрывать учётные данные. Включите временные среды и доступ поддержки, если они влияют на сценарий.

Опишите конкретный путь отказа

Избегайте записей вроде «AI может быть небезопасным». Укажите участника, действие, затронутый актив и последствия. Добавьте условия, необходимые для этого сценария.

Это примеры, а не полный перечень угроз. Применимые сценарии зависят от ваших данных, инструментов и рабочей среды.

Выберите меры и назначьте владельца

Определяйте приоритет по последствиям и реалистичным условиям воздействия. Не представляйте числовую оценку как точность, которой у вас нет. Запишите неопределённость и свидетельства, которые могут изменить приоритет.

Можно убрать рискованную возможность, сузить её область, добавить меру контроля или принять определённый остаточный риск. Для принятия нужны уполномоченный владелец и основание. Непроверенного вывода агента недостаточно.

Превратите выбранную меру в задачу с наблюдаемым условием приёмки. Формулировку «улучшить безопасность агента» трудно проверить. Утверждение «тестовое задание не может читать секрет production» определяет проверяемую границу.

Пересматривайте модель после существенных изменений

Новый коннектор, маршрут к модели, среда или разрешение могут изменить модель угроз. Включите эти изменения в условия пересмотра. Также обновляйте предположения по результатам инцидентов и неудачных проверок.

Попробуйте упражнение по оценке рисков. Меняйте данные, полномочия, аудиторию и условия восстановления сценария. Результат предлагает вопросы. Он не заменяет модель угроз конкретной системы и не даёт разрешения на работу.