Trusselmodeller en AI-utviklingsflyt

Velg et avgrenset scenario

Start med én arbeidsflyt folk kan forstå. En agent leser for eksempel en issue, redigerer et repository, kjører tester og åpner en pull request. Ta med systemene som gjør handlingene mulige.

List opp verdiene som betyr noe: kildekode, kundeinformasjon, påloggingsopplysninger, utgivelsesartefakter og tjenestetilgjengelighet. Identifiser hvem som eier dem. Identifiser deretter personene og systemene som kan lese eller endre hver verdi.

OWASP anbefaler å modellere systemet, identifisere trusler, velge tiltak og validere resultatet. Bruk metoden tidlig, og oppdater den når systemet endres. Veiledning i trusselmodellering.

Tegn tillitsgrensene

Tegn disse forbindelsene for den fiktive issue-til-PR-arbeidsflyten:

Issue → agent → repository → test runner → artifact store → deployment

Legg til modellleverandøren og hemmelighetslageret. Marker hvor innhold kommer fra en mindre betrodd kilde. Marker hvor en identitet får en ny evne, for eksempel overgangen fra å lese en issue til å skrive repositoryfiler.

Applikasjonsdiagrammet alene viser ikke hele utviklingsrisikoen. En produksjonsdatabase kan være privat mens en CI-jobb eksponerer påloggingsopplysninger. Ta med midlertidige miljøer og supporttilgang når de påvirker scenarioet.

Skriv et konkret feilforløp

Unngå oppføringer som «AI kan være utrygt». Skriv en aktør, en handling, en berørt verdi og en konsekvens. Ta med betingelsene som må være oppfylt for at scenarioet skal inntreffe.

Dette er eksempler, ikke en komplett trusselliste. Data, verktøy og driftsmiljø avgjør hvilke scenarioer som er relevante.

Velg et tiltak med en ansvarlig

Prioriter konsekvenser og troverdig eksponering. Unngå å fremstille en tallscore som presisjon du ikke har. Registrer usikkerheten og dokumentasjonen som kan endre prioriteten.

Et tiltak kan fjerne den risikable evnen, redusere omfanget, legge til en kontroll eller akseptere en definert restrisiko. Aksept krever en autorisert ansvarlig og en begrunnelse. Det bør ikke være agentens konklusjon uten review.

Gjør valgt tiltak om til arbeid med en observerbar akseptbetingelse. «Forbedre agentsikkerhet» er vanskelig å verifisere. «Testjobben kan ikke lese produksjonshemmeligheten» definerer en grense som kan kontrolleres.

Gjennomgå etter vesentlige endringer

En ny kobling, modellrute, et nytt miljø eller en tillatelse kan endre trusselmodellen. Ta endringene med som utløsere for gjennomgang. Bruk også hendelser og mislykkede evalueringer til å oppdatere antakelser.

Prøv risikogjennomgangsøvelsen for å endre et scenarios data, fullmakter, målgruppe og gjenopprettingsbetingelser. Resultatet foreslår spørsmål. Det erstatter ikke en systemspesifikk trusselmodell og autoriserer ikke arbeidet.