Modelujte hrozby pracovného postupu vývoja s AI

Vyberte ohraničený scenár

Začnite jedným pracovným postupom, ktorému ľudia rozumejú. Agent napríklad prečíta issue, upraví repozitár, spustí testy a otvorí pull request. Zahrňte systémy, ktoré tieto akcie umožňujú.

Uveďte dôležité aktíva: zdrojový kód, zákaznícke informácie, prihlasovacie údaje, artefakty vydania a dostupnosť služby. Určte, kto za ne zodpovedá. Potom určte osoby a systémy, ktoré môžu každé aktívum čítať alebo meniť.

OWASP odporúča modelovať systém, identifikovať hrozby, vybrať reakcie a overiť výsledok. Metódu použite včas a aktualizujte ju pri zmenách systému. Odporúčania na modelovanie hrozieb.

Nakreslite hranice dôvery

Pre fiktívny postup od issue k PR nakreslite tieto prepojenia:

Issue → agent → repozitár → test runner → úložisko artefaktov → nasadenie

Pridajte poskytovateľa modelu a úložisko tajných údajov. Označte, kde obsah prichádza z menej dôveryhodného zdroja. Označte, kde identita získava novú možnosť konať, napríklad prechod od čítania issue k zápisu súborov repozitára.

Samotný diagram aplikácie neukazuje celé riziko vývoja. Produkčná databáza môže byť súkromná, zatiaľ čo úloha CI sprístupňuje prihlasovací údaj. Zahrňte dočasné prostredia a prístup podpory, ak ovplyvňujú scenár.

Opíšte konkrétny spôsob zlyhania

Vyhnite sa záznamom ako „AI môže byť nebezpečná“. Uveďte aktéra, akciu, dotknuté aktívum a dôsledok. Zahrňte podmienky potrebné na vznik scenára.

Sú to príklady, nie úplný zoznam hrozieb. Relevantné scenáre určujú vaše údaje, nástroje a prevádzkové prostredie.

Vyberte reakciu so zodpovednou osobou

Uprednostnite dôsledky a vierohodné vystavenie riziku. Neprezentujte číselné skóre ako presnosť, ktorú nemáte. Zaznamenajte neistotu a dôkazy, ktoré by mohli zmeniť prioritu.

Reakcia môže odstrániť rizikovú možnosť konať, zúžiť jej rozsah, pridať kontrolný mechanizmus alebo prijať definované zvyškové riziko. Prijatie potrebuje oprávnenú zodpovednú osobu a dôvod. Nemá ísť o neskontrolovaný záver agenta.

Vybranú reakciu premeňte na prácu s pozorovateľnou podmienkou prijatia. „Zlepšiť bezpečnosť agenta“ sa ťažko overuje. „Testovacia úloha nemôže čítať produkčný tajný údaj“ definuje hranicu, ktorú možno skontrolovať.

Kontrolujte model po podstatných zmenách

Nový konektor, cesta k modelu, prostredie alebo oprávnenie môže zmeniť model hrozieb. Pridajte tieto zmeny medzi podmienky opätovnej kontroly. Na aktualizáciu predpokladov použite aj incidenty a neúspešné vyhodnotenia.

Vyskúšajte cvičenie posúdenia rizík a zmeňte údaje, oprávnenia, používateľov a podmienky obnovy scenára. Výsledok navrhuje otázky. Nenahrádza model hrozieb konkrétneho systému ani neoprávňuje na vykonanie práce.