Моделирајте ги заканите во развоен работен тек со AI
ЗавршеноПрикажете ги средствата, границите на доверба и можните неуспеси. Изберете контроли и тестови за конкретно развојно сценарио.
Објавува TaigaКако пишуваме
Проверете го разбирањетоРегистар на закани содржи „AI-ризик: висок“ без дополнителни детали. Што треба прво да додадете?Направете ја вежбата
Што ќе научите
- Нацртајте го развојниот систем надвор од самата апликација.
- Опишете конкретна закана со учесник, дејство и последица.
- Претворете закана во контрола со одговорно лице и чекор за проверка.
Изберете ограничено сценарио
Почнете со еден работен тек што луѓето може да го разберат. На пример, агент чита пријавен проблем, менува репозиториум, извршува тестови и отвора барање за спојување код. Вклучете ги системите што ги овозможуваат овие дејства.
Наведете ги важните средства: изворен код, информации за клиенти, пристапни податоци, артефакти за издавање и достапност на услугата. Утврдете кој е одговорен за нив. Потоа утврдете кои луѓе и системи може да го читаат или менуваат секое средство.
OWASP препорачува моделирање на системот, препознавање закани, избор на одговори и проверка на резултатот. Користете го методот рано и ажурирајте го како што се менува системот. Насоки за моделирање закани.
Нацртајте ги границите на доверба
За измислениот работен тек од пријавен проблем до PR, нацртајте ги овие врски:
Issue → agent → repository → test runner → artifact store → deployment
Додајте ги давателот на моделот и складиштето за тајни. Означете каде содржината доаѓа од помалку доверлив извор. Означете каде идентитет добива нова можност, како премин од читање пријавен проблем до запишување датотеки во репозиториум.
Само дијаграмот на апликацијата не го покажува целиот развоен ризик. Продукциска база може да биде приватна додека CI-задача изложува пристапен податок. Вклучете ги привремените околини и пристапот за поддршка кога влијаат врз сценариото.
Запишете конкретна патека до неуспех
Избегнувајте записи како „AI може да биде небезбедна“. Запишете учесник, дејство, засегнато средство и последица. Вклучете ги условите потребни за сценариото да се случи.
| Сценарио | Контрола што треба да се испита | Докази што треба да се побараат |
|---|---|---|
| Текст во пријавен проблем го пренасочува агентот кон неповрзан репозиториум | Опфатот на репозиториумот и алатките | Одбиено запишување надвор од репозиториумот на задачата |
| Недоверлива тестна задача чита продукциски пристапен податок | Идентитетот на задачата и изолацијата на тајните | Испитување на работниот тек и изолиран тест за одбивање |
| Распоредувањето користи артефакт различен од прегледаниот | Идентитетот на артефактот и правилата за негово пренесување меѓу околини | Совпадната хеш-вредност во записите за одобрување и распоредување |
| Неуспешна миграција го спречува обновувањето на услугата | Компатибилноста и постапката за враќање | Вежба за обновување со репрезентативни измислени податоци |
Ова се примери, а не целосен список на закани. Вашите податоци, алатки и оперативната околина ги одредуваат релевантните сценарија.
Изберете одговор со одговорно лице
Дајте приоритет според последиците и веродостојната изложеност. Не прикажувајте нумеричка оценка како прецизност што ја немате. Запишете ги неизвесноста и доказите што може да го сменат приоритетот.
Одговорот може да ја отстрани ризичната можност, да го намали нејзиниот опфат, да додаде контрола или да прифати определен преостанат ризик. За прифаќање се потребни овластено одговорно лице и причина. Тоа не треба да биде непрегледан заклучок на агент.
Претворете го избраниот одговор во работа со услов за прифаќање што може да се набљудува. „Подобрете ја безбедноста на агентот“ е тешко да се провери. „Тестната задача не може да ја прочита продукциската тајна“ одредува граница што може да се провери.
Повторно прегледајте по суштински промени
Нов конектор, патека до модел, околина или дозвола може да го смени моделот на закани. Додајте ги овие промени како поводи за повторен преглед. Користете ги и инцидентите и неуспешните оценувања за да ги ажурирате претпоставките.
Пробајте ја вежбата за преглед на ризик за да ги менувате податоците, овластувањата, публиката и условите за обновување во сценарио. Резултатот предлага прашања. Не заменува модел на закани за конкретен систем и не ја овластува работата.
Направете ја вежбата
Отворете ја вежбата за преглед на ризик. Изберете внатрешни податоци, запишување во гранка, надворешни корисници и тешко обновување. Изберете еден од добиените проблеми. Запишете ги учесникот, влезната точка, засегнатото средство, последицата, контролата, тестот за одбивање, одговорното лице и поводот за повторен преглед.
Преземи работен лист (Markdown)Поништување на овој избор го брише целиот напредок зачуван во овој прелистувач.
Напредокот останува во овој прелистувач. Без сметка и следење.