Put 03Lekcija 6 / 6

Modelirajte prijetnje razvojnom procesu s AI-jem

Prikažite resurse koje štitite, granice povjerenja i moguće kvarove. Odaberite kontrole i testove za konkretan razvojni scenarij.

Napredno11 minPregledano

Objavljuje Kako pišemo

Provjerite razumijevanjeRegistar prijetnji sadrži „AI rizik: visok” bez dodatnih pojedinosti. Što trebate prvo dodati?Napravite vježbu
Registar prijetnji sadrži „AI rizik: visok” bez dodatnih pojedinosti. Što trebate prvo dodati?

Što ćete naučiti

  • Nacrtati razvojni sustav izvan same aplikacije.
  • Opisati konkretnu prijetnju s izvršiteljem, radnjom i posljedicom.
  • Pretvoriti prijetnju u kontrolu s odgovornom osobom i korakom provjere.

Odaberite ograničen scenarij

Počnite jednim radnim procesom koji ljudi mogu razumjeti. Primjerice, agent čita prijavu, uređuje repozitorij, pokreće testove i otvara pull request. Uključite sustave koji omogućuju te radnje.

Navedite važne resurse: izvorni kod, informacije klijenata, vjerodajnice, artefakte izdanja i dostupnost usluge. Utvrdite tko odgovara za njih. Zatim utvrdite ljude i sustave koji mogu čitati ili mijenjati svaki resurs.

OWASP preporučuje modeliranje sustava, prepoznavanje prijetnji, odabir odgovora i provjeru rezultata. Metodu upotrijebite rano i ažurirajte je s promjenama sustava. Smjernice za modeliranje prijetnji.

Nacrtajte granice povjerenja

Za izmišljeni postupak od prijave do PR-a nacrtajte ove veze:

Issue → agent → repository → test runner → artifact store → deployment

Dodajte pružatelja modela i spremište tajnih podataka. Označite gdje sadržaj dolazi iz manje pouzdanog izvora. Označite gdje identitet dobiva novu sposobnost, poput prijelaza s čitanja prijave na pisanje datoteka repozitorija.

Sam dijagram aplikacije ne prikazuje cijeli razvojni rizik. Produkcijska baza može biti privatna dok CI posao izlaže vjerodajnicu. Uključite privremena okruženja i pristup podrške kad utječu na scenarij.

Napišite konkretan put do kvara

Izbjegnite unose poput „AI možda nije siguran”. Napišite izvršitelja, radnju, zahvaćeni resurs i posljedicu. Uključite uvjete potrebne da se scenarij dogodi.

ScenarijKontrola koju treba pregledatiDokazi koje treba zatražiti
Tekst prijave preusmjerava agenta na nepovezan repozitorijOpseg repozitorija i alataOdbijeno pisanje izvan repozitorija zadatka
Nepouzdan testni posao čita produkcijsku vjerodajnicuIdentitet posla i izolacija tajnih podatakaPregled radnog procesa i izolirani test odbijanja
Postavljanje upotrebljava drugačiji artefakt od pregledanogIdentitet artefakta i pravila promicanjaPodudaranje kriptografskog sažetka u zapisima odobrenja i postavljanja
Neuspjela migracija sprječava oporavak uslugeKompatibilnost i postupak vraćanjaVježba oporavka s reprezentativnim izmišljenim podacima

To su primjeri, a ne potpun popis prijetnji. Vaši podaci, alati i operativno okruženje određuju relevantne scenarije.

Odaberite odgovor s odgovornom osobom

Dajte prednost posljedicama i vjerodostojnoj izloženosti. Nemojte brojčanu ocjenu prikazivati kao preciznost koju nemate. Zabilježite nesigurnost i dokaze koji mogu promijeniti prioritet.

Odgovor može ukloniti rizičnu sposobnost, smanjiti njezin opseg, dodati kontrolu ili prihvatiti definiran preostali rizik. Prihvaćanje treba ovlaštenu odgovornu osobu i razlog. Ne smije biti nepregledan zaključak agenta.

Odabrani odgovor pretvorite u rad s vidljivim uvjetom prihvaćanja. „Poboljšajte sigurnost agenta” teško je provjeriti. „Testni posao ne može čitati produkcijski tajni podatak” definira granicu koja se može provjeriti.

Pregledajte nakon važnih promjena

Novi konektor, put prema modelu, okruženje ili ovlast mogu promijeniti model prijetnji. Dodajte te promjene među povode za pregled. Za ažuriranje pretpostavki upotrijebite i incidente i neuspjele evaluacije.

Isprobajte vježbu procjene rizika i mijenjajte podatke, ovlasti, korisnike i uvjete oporavka scenarija. Rezultat predlaže pitanja. Ne zamjenjuje model prijetnji konkretnog sustava niti dopušta rad.

Napravite vježbu

Otvorite vježbu procjene rizika. Odaberite interne podatke, pisanje u granu, vanjske korisnike i težak oporavak. Odaberite jedno od pitanja koja vježba istakne. Napišite izvršitelja, ulaznu točku, zahvaćeni resurs, posljedicu, kontrolu, test odbijanja, odgovornu osobu i povod za pregled.

Preuzmi radni list (Markdown)
Provjerite razumijevanje ↑

Nastavite učiti

Izvori i dodatno čitanje

Povezani Taigini materijali

← Prethodna lekcija: Povežite obveze s dokazima