Моделујте претње за развојни ток рада уз AI

Изаберите ограничен сценарио

Почните једним током рада који људи могу да разумеју. На пример, агент чита пријаву проблема, мења репозиторијум, покреће тестове и отвара pull request. Укључите системе који омогућавају те радње.

Наведите важне ресурсе: изворни код, информације клијената, акредитиве, артефакте за објављивање и доступност сервиса. Утврдите ко је за њих одговоран. Затим утврдите људе и системе који могу да читају или мењају сваки ресурс.

OWASP препоручује моделовање система, препознавање претњи, избор одговора и проверу резултата. Користите метод рано и ажурирајте модел како се систем мења. Смернице за моделовање претњи.

Нацртајте границе поверења

За измишљени ток од пријаве проблема до PR захтева нацртајте ове везе:

Issue → agent → repository → test runner → artifact store → deployment

Додајте добављача модела и складиште тајни. Означите где садржај долази из мање поузданог извора. Означите где идентитет добија нову могућност, попут прелаза са читања пријаве проблема на упис у датотеке репозиторијума.

Сам дијаграм апликације не приказује цео развојни ризик. Продукциона база може да буде приватна док CI посао излаже акредитив. Укључите привремена окружења и приступ подршке када утичу на сценарио.

Напишите конкретну путању отказа

Избегавајте ставке попут „AI можда није безбедан”. Наведите актера, радњу, погођени ресурс и последицу. Укључите услове потребне да се сценарио догоди.

Ово су примери, а не потпун списак претњи. Ваши подаци, алати и оперативно окружење одређују релевантне сценарије.

Изаберите одговор и одредите одговорну особу

Одредите приоритете према последицама и уверљивој изложености. Не представљајте бројчану оцену као прецизност коју немате. Забележите неизвесност и доказе који би могли да промене приоритет.

Одговор може да уклони ризичну могућност, смањи њен опсег, дода контролу или прихвати дефинисан преостали ризик. За прихватање су потребни овлашћена одговорна особа и разлог. То не треба да буде непроверен закључак агента.

Претворите изабрани одговор у рад са проверљивим условом прихватања. „Побољшајте безбедност агента” тешко је проверити. „Тестни посао не може да чита продукциону тајну” дефинише границу која може да се провери.

Преиспитајте модел после значајних промена

Нов конектор, путања до модела, окружење или дозвола може да промени модел претњи. Додајте ове промене условима за преиспитивање. Користите и инциденте и неуспеле процене да ажурирате претпоставке.

Испробајте вежбу прегледа ризика да промените податке, овлашћења, публику и услове опоравка сценарија. Резултат предлаже питања. Не замењује модел претњи за конкретан систем и не одобрава рад.