Modelujte hrozby vývojového postupu s AI

Zvolte omezený scénář

Začněte jedním postupem, kterému lidé rozumějí. Agent například čte issue, upravuje repozitář, spouští testy a otevírá pull request. Zahrňte systémy, které tyto akce umožňují.

Sepište důležitá aktiva: zdrojový kód, zákaznické informace, přihlašovací údaje, artefakty vydání a dostupnost služby. Určete, kdo za ně odpovídá. Potom určete lidi a systémy, které mohou jednotlivá aktiva číst nebo měnit.

OWASP doporučuje modelovat systém, určit hrozby, zvolit reakce a ověřit výsledek. Metodu použijte včas a s vývojem systému ji aktualizujte. Pokyny k modelování hrozeb.

Zakreslete hranice důvěry

Pro fiktivní postup od issue k PR zakreslete tato spojení:

Issue → agent → repository → test runner → artifact store → deployment

Přidejte poskytovatele modelu a úložiště tajných údajů. Označte místa, kde obsah pochází z méně důvěryhodného zdroje. Označte místa, kde identita získává novou schopnost, například přechod od čtení issue k zápisu souborů v repozitáři.

Samotné schéma aplikace nezobrazuje všechna rizika vývoje. Produkční databáze může být soukromá, zatímco CI úloha odhalí přihlašovací údaj. Zahrňte dočasná prostředí a přístup podpory, pokud scénář ovlivňují.

Popište konkrétní způsob selhání

Vyhněte se záznamům jako „AI může být nebezpečná“. Uveďte aktéra, akci, dotčené aktivum a následek. Zahrňte podmínky potřebné k tomu, aby scénář nastal.

Jde o příklady, nikoli úplný seznam hrozeb. Relevantní scénáře určují vaše data, nástroje a provozní prostředí.

Zvolte reakci s odpovědnou osobou

Stanovte priority podle následků a věrohodného vystavení riziku. Číselným skóre nepředstírejte přesnost, kterou nemáte. Zaznamenejte nejistotu a důkazy, které by mohly prioritu změnit.

Reakce může odstranit rizikovou schopnost, omezit její rozsah, přidat opatření nebo přijmout definované zbytkové riziko. Přijetí vyžaduje oprávněnou odpovědnou osobu a důvod. Nemá být nezkontrolovaným závěrem agenta.

Zvolenou reakci proměňte v práci s pozorovatelnou podmínkou přijetí. „Zlepšit bezpečnost agenta“ se obtížně ověřuje. „Testovací úloha nemůže číst produkční tajný údaj“ definuje kontrolovatelnou hranici.

Po významných změnách model znovu posuďte

Nový konektor, směrování k modelu, prostředí nebo oprávnění mohou model hrozeb změnit. Přidejte tyto změny k podmínkám nového posouzení. K aktualizaci předpokladů využívejte také incidenty a neúspěšná vyhodnocení.

Ve cvičení posouzení rizik zkuste měnit data, oprávnění, uživatele a podmínky obnovy scénáře. Výsledek navrhuje otázky. Nenahrazuje model hrozeb konkrétního systému ani neopravňuje k práci.