Мадэлюйце пагрозы працэсу распрацоўкі з AI

Выберыце абмежаваны сцэнарый

Пачніце з аднаго працоўнага працэсу, які людзі могуць зразумець. Напрыклад, агент чытае задачу, рэдагуе рэпазіторый, запускае тэсты і адкрывае pull request. Уключыце сістэмы, якія робяць гэтыя дзеянні магчымымі.

Пералічыце істотныя актывы: зыходны код, інфармацыю кліентаў, уліковыя даныя, артэфакты выпуску і даступнасць сэрвісу. Вызначце адказных за іх. Затым вызначце людзей і сістэмы, якія могуць чытаць або змяняць кожны актыў.

OWASP рэкамендуе мадэляваць сістэму, выяўляць пагрозы, выбіраць меры рэагавання і правяраць вынік. Выкарыстоўвайце метад з ранніх этапаў і абнаўляйце мадэль са зменамі сістэмы. Рэкамендацыі па мадэляванні пагроз.

Намалюйце межы даверу

Для выдуманага працэсу ад задачы да PR намалюйце гэтыя сувязі:

Issue → agent → repository → test runner → artifact store → deployment

Дадайце пастаўшчыка мадэлі і сховішча сакрэтаў. Пазначце, дзе змест прыходзіць з менш даверанай крыніцы. Пазначце, дзе ідэнтычнасць атрымлівае новую магчымасць, напрыклад пры пераходзе ад чытання задачы да запісу файлаў рэпазіторыя.

Адна схема праграмы не паказвае ўсю рызыку распрацоўкі. База даных production можа быць прыватнай, у той час як задача CI раскрывае ўліковыя даныя. Уключайце часовыя асяроддзі і доступ падтрымкі, калі яны ўплываюць на сцэнарый.

Запішыце канкрэтны шлях да збою

Пазбягайце запісаў накшталт «AI можа быць небяспечным». Запішыце выканаўцу, дзеянне, закрануты актыў і наступствы. Уключыце ўмовы, неабходныя для ўзнікнення сцэнарыя.

Гэта прыклады, а не поўны спіс пагроз. Вашы даныя, інструменты і асяроддзе працы вызначаюць адпаведныя сцэнарыі.

Выберыце меру рэагавання і адказнага

Вызначайце прыярытэты паводле наступстваў і рэалістычнай магчымасці ўздзеяння пагрозы. Не падавайце лікавую ацэнку як дакладнасць, якой у вас няма. Запісвайце нявызначанасць і доказы, якія могуць змяніць прыярытэт.

Мера рэагавання можа прыбраць рызыкоўную магчымасць, паменшыць яе абсяг, дадаць меру кантролю або прыняць вызначаную астатнюю рызыку. Для прыняцця патрэбныя ўпаўнаважаны адказны і прычына. Гэта не павінна быць неправеранай высновай агента.

Ператварыце выбраную меру рэагавання ў працу з умовай прыёмкі, якую можна назіраць. «Палепшыць бяспеку агента» цяжка праверыць. «Тэставая задача не можа прачытаць сакрэт production» вызначае мяжу, якую можна праверыць.

Пераглядайце пасля істотных змен

Новы канектар, маршрут да мадэлі, асяроддзе або дазвол могуць змяніць мадэль пагроз. Дадайце гэтыя змены да ўмоў перагляду. Таксама выкарыстоўвайце інцыдэнты і няўдалыя ацэнкі для абнаўлення дапушчэнняў.

Паспрабуйце практыкаванне па аналізе рызык, каб змяняць даныя сцэнарыя, паўнамоцтвы, аўдыторыю і ўмовы аднаўлення. Вынік прапануе пытанні. Ён не замяняе мадэль пагроз канкрэтнай сістэмы і не дае дазволу на працу.