Modeluj zagrożenia w procesie wytwarzania z AI

Wybierz ograniczony scenariusz

Zacznij od jednego zrozumiałego przebiegu pracy. Na przykład agent czyta zgłoszenie, edytuje repozytorium, uruchamia testy i otwiera pull request. Uwzględnij systemy umożliwiające te działania.

Wypisz istotne zasoby: kod źródłowy, informacje klientów, dane uwierzytelniające, artefakty wydań i dostępność usługi. Wskaż właścicieli. Następnie określ osoby i systemy, które mogą czytać lub zmieniać każdy zasób.

OWASP zaleca modelowanie systemu, identyfikację zagrożeń, wybór reakcji i weryfikację wyniku. Zastosuj metodę wcześnie i aktualizuj model wraz ze zmianami systemu. Zalecenia modelowania zagrożeń.

Narysuj granice zaufania

Dla fikcyjnego procesu od zgłoszenia do PR narysuj te połączenia:

Zgłoszenie → agent → repozytorium → runner testów → magazyn artefaktów → wdrożenie

Dodaj dostawcę modelu i magazyn sekretów. Zaznacz miejsca, w których treść pochodzi z mniej zaufanego źródła. Zaznacz, gdzie tożsamość uzyskuje nową możliwość, na przykład przechodzi od czytania zgłoszenia do zapisywania plików repozytorium.

Sam diagram aplikacji nie pokazuje całego ryzyka wytwarzania. Produkcyjna baza może być prywatna, podczas gdy zadanie CI ujawnia dane uwierzytelniające. Uwzględnij środowiska tymczasowe i dostęp wsparcia, jeśli wpływają na scenariusz.

Opisz konkretną ścieżkę błędu

Unikaj zapisów typu „AI może być niebezpieczne”. Wskaż wykonawcę, działanie, zasób i konsekwencję. Uwzględnij warunki niezbędne do wystąpienia scenariusza.

To przykłady, nie pełna lista zagrożeń. Właściwe scenariusze zależą od danych, narzędzi i środowiska operacyjnego.

Wybierz reakcję i przypisz właściciela

Ustalaj priorytety według konsekwencji i wiarygodnego narażenia. Nie przedstawiaj oceny liczbowej jako precyzji, której nie masz. Zapisz niepewność i dowody mogące zmienić priorytet.

Reakcja może usunąć ryzykowną możliwość, ograniczyć jej zakres, dodać zabezpieczenie lub zaakceptować określone ryzyko rezydualne. Akceptacja wymaga uprawnionego właściciela i uzasadnienia. Nie powinna być nieprzejrzanym wnioskiem agenta.

Zamień wybraną reakcję w zadanie z obserwowalnym warunkiem akceptacji. „Popraw bezpieczeństwo agenta” trudno sprawdzić. „Zadanie testowe nie może odczytać produkcyjnego sekretu” określa granicę możliwą do weryfikacji.

Przeglądaj po istotnych zmianach

Nowy konektor, sposób kierowania żądań do modelu, środowisko lub uprawnienie mogą zmienić model zagrożeń. Dodaj te zmiany do zdarzeń wymagających przeglądu. Aktualizuj założenia także na podstawie incydentów i nieudanych ocen.

W ćwiczeniu przeglądu ryzyka zmieniaj dane, uprawnienia, odbiorców i warunki odtworzenia scenariusza. Wynik podpowiada pytania. Nie zastępuje modelu zagrożeń konkretnego systemu ani nie upoważnia do pracy.