Побудуйте модель загроз для процесу розробки із ШІ

Оберіть обмежений сценарій

Почніть з одного зрозумілого людям процесу. Наприклад, агент читає задачу, редагує репозиторій, запускає тести й відкриває pull request. Включіть системи, які роблять ці дії можливими.

Перелічіть важливі активи: вихідний код, інформацію клієнтів, облікові дані, артефакти випуску та доступність сервісу. Визначте відповідальних за них. Потім визначте людей і системи, які можуть читати або змінювати кожен актив.

OWASP рекомендує моделювати систему, виявляти загрози, обирати реакції та перевіряти результат. Використовуйте метод на ранньому етапі й оновлюйте його зі змінами системи. Рекомендації з моделювання загроз.

Зобразіть межі довіри

Для вигаданого процесу від задачі до PR зобразіть такі зв’язки:

Issue → agent → repository → test runner → artifact store → deployment

Додайте провайдера моделі та сховище секретів. Позначте, де вміст надходить із менш довіреного джерела. Позначте, де ідентичність отримує нову можливість, наприклад переходить від читання задачі до запису файлів репозиторію.

Сама схема застосунку не показує всього ризику розробки. Продуктивна база даних може бути приватною, тоді як задача CI розкриває облікові дані. Включайте тимчасові середовища та доступ підтримки, коли вони впливають на сценарій.

Запишіть конкретний шлях збою

Уникайте записів на кшталт «ШІ може бути небезпечним». Запишіть виконавця, дію, уражений актив і наслідок. Включіть умови, потрібні для виникнення сценарію.

Це приклади, а не повний перелік загроз. Ваші дані, інструменти й робоче середовище визначають відповідні сценарії.

Оберіть реакцію та призначте відповідального

Визначайте пріоритет за наслідками та правдоподібною можливістю впливу загрози. Не подавайте числовий бал як точність, якої у вас немає. Записуйте невизначеність і докази, що можуть змінити пріоритет.

Реакція може прибрати ризиковану можливість, звузити її межі, додати засіб контролю або прийняти визначений залишковий ризик. Прийняття потребує уповноваженого відповідального та причини. Воно не повинне бути непереглянутим висновком агента.

Перетворіть обрану реакцію на роботу зі спостережуваною умовою приймання. «Покращити безпеку агента» складно перевірити. «Тестова задача не може читати продуктивний секрет» визначає межу, яку можна перевірити.

Переглядайте після суттєвих змін

Новий конектор, маршрут до моделі, середовище або право можуть змінити модель загроз. Додайте ці зміни до умов перегляду. Також використовуйте інциденти та невдалі оцінювання для оновлення припущень.

Спробуйте вправу з перегляду ризику, щоб змінити дані, повноваження, аудиторію та умови відновлення сценарію. Результат пропонує питання. Він не замінює моделі загроз конкретної системи й не дозволяє виконувати роботу.