Lav en trusselsmodel for en AI-udviklingsproces

Vælg et afgrænset scenarie

Start med en arbejdsgang, som mennesker kan forstå. For eksempel læser en agent et issue, redigerer et repository, kører tests og opretter en pull request. Medtag de systemer, der gør handlingerne mulige.

Angiv de vigtige aktiver: kildekode, kundeoplysninger, adgangsoplysninger, releaseartefakter og tjenestens tilgængelighed. Find deres ejere. Find derefter de personer og systemer, der kan læse eller ændre hvert aktiv.

OWASP anbefaler at modellere systemet, finde trusler, vælge modforanstaltninger og validere resultatet. Brug metoden tidligt, og opdatér den, når systemet ændres. Vejledning om trusselsmodellering.

Tegn tillidsgrænserne

Tegn disse forbindelser for det fiktive forløb fra issue til PR:

Issue → agent → repository → test runner → artifact store → deployment

Tilføj modeludbyderen og systemet til opbevaring af secrets. Markér, hvor indhold kommer fra en mindre betroet kilde. Markér, hvor en identitet får en ny mulighed, eksempelvis overgangen fra at læse et issue til at skrive repositoryfiler.

Applikationsdiagrammet alene viser ikke hele udviklingsrisikoen. En produktionsdatabase kan være privat, mens et CI-job eksponerer adgangsoplysninger. Medtag midlertidige miljøer og supportadgang, når de påvirker scenariet.

Beskriv et konkret fejlforløb

Undgå poster som »AI kan være usikker«. Beskriv en aktør, en handling, et berørt aktiv og en konsekvens. Medtag de betingelser, der skal være opfyldt, for at scenariet kan opstå.

Dette er eksempler, ikke en komplet trusselsliste. Dine data, værktøjer og dit driftsmiljø afgør de relevante scenarier.

Vælg en reaktion med en ansvarlig

Prioritér konsekvenser og troværdig eksponering. Fremstil ikke en numerisk score som en præcision, du ikke har. Registrér usikkerheden og den dokumentation, der kan ændre prioriteten.

En reaktion kan fjerne den risikable mulighed, begrænse dens omfang, tilføje en kontrol eller acceptere en defineret restrisiko. Accept kræver en bemyndiget ansvarlig og en begrundelse. Det bør ikke være agentens konklusion uden review.

Omsæt den valgte reaktion til arbejde med en observerbar acceptbetingelse. »Forbedr agentsikkerheden« er svært at kontrollere. »Testjobbet kan ikke læse produktionshemmeligheden« definerer en grænse, der kan kontrolleres.

Gennemgå modellen efter væsentlige ændringer

En ny connector, modelrute, et nyt miljø eller en ny rettighed kan ændre trusselsmodellen. Medtag disse ændringer som betingelser for review. Brug også hændelser og fejlslagne evalueringer til at opdatere antagelser.

Prøv øvelsen i risikovurdering for at ændre scenariets data, bemyndigelse, målgruppe og gendannelsesforhold. Resultatet foreslår spørgsmål. Det erstatter ikke en systemspecifik trusselsmodel og giver ikke tilladelse til arbejdet.