Modelirajte prijetnje u razvojnom toku rada uz AI

Odaberite ograničen scenarij

Počnite jednim radnim tokom koji ljudi mogu razumjeti. Naprimjer, agent čita prijavu problema, uređuje repozitorij, izvršava testove i otvara zahtjev za spajanje koda. Uključite sisteme koji omogućavaju ove radnje.

Navedite važne resurse: izvorni kod, informacije o klijentima, pristupne podatke, artefakte izdanja i dostupnost usluge. Utvrdite ko je za njih odgovoran. Zatim utvrdite ljude i sisteme koji mogu čitati ili mijenjati svaki resurs.

OWASP preporučuje modeliranje sistema, prepoznavanje prijetnji, odabir odgovora i provjeru rezultata. Koristite metodu rano i ažurirajte je kako se sistem mijenja. Smjernice za modeliranje prijetnji.

Nacrtajte granice povjerenja

Za izmišljeni radni tok od prijave problema do PR-a nacrtajte ove veze:

Issue → agent → repository → test runner → artifact store → deployment

Dodajte pružaoca modela i spremište tajni. Označite gdje sadržaj dolazi iz manje pouzdanog izvora. Označite gdje identitet dobija novu sposobnost, poput prijelaza s čitanja prijave problema na pisanje fajlova repozitorija.

Sam dijagram aplikacije ne pokazuje cjelokupni razvojni rizik. Produkcijska baza podataka može biti privatna dok CI zadatak izlaže pristupni podatak. Uključite privremena okruženja i pristup podrške kada utječu na scenarij.

Napišite konkretan put do neuspjeha

Izbjegavajte stavke poput „AI može biti nesiguran“. Napišite aktera, radnju, zahvaćeni resurs i posljedicu. Uključite uslove potrebne da se scenarij dogodi.

Ovo su primjeri, a ne potpuna lista prijetnji. Vaši podaci, alati i radno okruženje određuju relevantne scenarije.

Odaberite odgovor i odgovornu osobu

Dajte prioritet posljedicama i vjerovatnoj izloženosti. Izbjegavajte prikazivati brojčanu ocjenu kao preciznost koju nemate. Zabilježite neizvjesnost i dokaze koji bi mogli promijeniti prioritet.

Odgovor može ukloniti rizičnu sposobnost, smanjiti njen opseg, dodati kontrolu ili prihvatiti određeni preostali rizik. Prihvatanje zahtijeva ovlaštenu odgovornu osobu i razlog. Prihvatanje rizika ne treba biti zaključak agenta koji niko nije pregledao.

Pretvorite odabrani odgovor u rad s uočljivim uslovom prihvatanja. „Poboljšajte sigurnost agenta“ teško je provjeriti. „Testni zadatak ne može pročitati produkcijsku tajnu“ određuje granicu koja se može provjeriti.

Ponovo pregledajte nakon važnih promjena

Novi konektor, put do modela, okruženje ili dozvola mogu promijeniti model prijetnji. Dodajte te promjene povodima za pregled. Koristite i incidente i neuspjele evaluacije za ažuriranje pretpostavki.

Isprobajte vježbu pregleda rizika da promijenite podatke, ovlaštenja, publiku i uslove oporavka scenarija. Rezultat predlaže pitanja. Ne zamjenjuje model prijetnji konkretnog sistema niti odobrava rad.