Моделирайте заплахите в процес за разработка с AI

Изберете ограничен сценарий

Започнете с един работен процес, който хората могат да разберат. Например агент чете задача, редактира хранилище, изпълнява тестове и отваря pull request. Включете системите, които позволяват тези действия.

Избройте важните активи: изходен код, клиентска информация, данни за удостоверяване, артефакти за пускане и наличност на услугата. Определете кой отговаря за тях. После определете хората и системите, които могат да четат или променят всеки актив.

OWASP препоръчва моделиране на системата, определяне на заплахите, избор на реакции и проверка на резултата. Използвайте метода рано и го обновявайте при промени в системата. Указания за моделиране на заплахи.

Начертайте границите на доверие

За измисления процес от задача до PR начертайте следните връзки:

Задача → агент → хранилище → изпълнител на тестове → хранилище за артефакти → внедряване

Добавете доставчика на модела и хранилището за тайни стойности. Отбележете къде съдържание идва от по-малко доверен източник. Отбележете къде идентичност получава нова възможност, например преход от четене на задача към запис във файлове на хранилището.

Диаграмата на приложението сама по себе си не показва целия риск при разработка. Продукционна база данни може да е частна, докато CI задача разкрива данни за удостоверяване. Включете временните среди и достъпа за поддръжка, когато влияят на сценария.

Запишете конкретен път до неуспех

Избягвайте записи като „AI може да е опасен“. Запишете участник, действие, засегнат актив и последствие. Включете условията, нужни за възникване на сценария.

Това са примери, а не пълен списък на заплахите. Вашите данни, инструменти и работна среда определят относимите сценарии.

Изберете реакция с отговорник

Подредете приоритетите според последствията и правдоподобното излагане на риск. Не представяйте числова оценка като точност, с която не разполагате. Запишете несигурността и доказателствата, които биха променили приоритета.

Реакцията може да премахне рисковата възможност, да ограничи обхвата ѝ, да добави контрол или да приеме определен остатъчен риск. Приемането изисква упълномощен отговорник и причина. Не трябва да бъде непрегледан извод на агент.

Превърнете избраната реакция в работа с наблюдаемо условие за приемане. „Подобрете сигурността на агента“ е трудно за проверка. „Тестовата задача не може да чете продукционната тайна стойност“ определя проверима граница.

Преразглеждайте след съществени промени

Нов конектор, маршрут към модел, среда или право може да промени модела на заплахите. Добавете тези промени към условията за преразглеждане. Използвайте и инцидентите и неуспешните оценки, за да обновявате предположенията.

Опитайте упражнението за преглед на риска, за да променяте данните, правомощията, аудиторията и условията за възстановяване на сценарий. Резултатът предлага въпроси. Не заменя модел на заплахите за конкретна система и не разрешава работата.