Hotmodellera ett AI-utvecklingsflöde

Välj ett begränsat scenario

Börja med ett arbetsflöde som människor kan förstå. En agent läser exempelvis ett ärende, redigerar ett repository, kör tester och öppnar en pull request. Ta med systemen som möjliggör åtgärderna.

Lista viktiga tillgångar: källkod, kundinformation, autentiseringsuppgifter, releaseartefakter och tjänstens tillgänglighet. Identifiera ansvariga. Identifiera sedan personer och system som kan läsa eller ändra varje tillgång.

OWASP rekommenderar att modellera systemet, identifiera hot, välja åtgärder och validera resultatet. Använd metoden tidigt och uppdatera den när systemet ändras. Vägledning om hotmodellering.

Rita tillitsgränserna

Rita följande kopplingar för det fiktiva flödet från ärende till PR:

Ärende → agent → repository → testkörmiljö → artefaktlager → driftsättning

Lägg till modellleverantören och hemlighetslagret. Markera var innehåll kommer från en mindre betrodd källa. Markera var en identitet får en ny förmåga, exempelvis från att läsa ett ärende till att skriva repositoryfiler.

Applikationsdiagrammet visar inte ensamt hela utvecklingsrisken. En produktionsdatabas kan vara privat medan ett CI-jobb exponerar en autentiseringsuppgift. Ta med tillfälliga miljöer och supportåtkomst när de påverkar scenariot.

Skriv en konkret felväg

Undvik poster som ”AI kan vara osäkert”. Skriv en aktör, en åtgärd, en påverkad tillgång och en konsekvens. Ta med villkoren som krävs för att scenariot ska inträffa.

Detta är exempel, inte en fullständig hotlista. Data, verktyg och driftmiljö avgör vilka scenarier som är relevanta.

Välj en åtgärd med en ansvarig

Prioritera konsekvenser och trovärdig exponering. Presentera inte en sifferpoäng som en precision du saknar. Dokumentera osäkerheten och underlaget som kan ändra prioriteringen.

En åtgärd kan ta bort riskförmågan, minska omfånget, lägga till en kontroll eller acceptera en definierad kvarvarande risk. Acceptans behöver en behörig ansvarig och ett skäl. Den ska inte vara en agents ogranskade slutsats.

Gör den valda åtgärden till arbete med ett observerbart acceptansvillkor. ”Förbättra agentsäkerheten” är svårt att verifiera. ”Testjobbet kan inte läsa produktionshemligheten” definierar en kontrollerbar gräns.

Granska efter väsentliga ändringar

En ny anslutning, modellväg, miljö eller behörighet kan ändra hotmodellen. Lägg till ändringarna som villkor för granskning. Använd också incidenter och misslyckade utvärderingar för att uppdatera antaganden.

Prova riskgranskningsövningen för att ändra scenariots data, befogenheter, målgrupp och återställningsvillkor. Resultatet föreslår frågor. Det ersätter inte en systemspecifik hotmodell och ger inte tillstånd till arbetet.