Tretirajte preuzeti sadržaj kao nepouzdan ulaz

Utvrdite tačku na kojoj podaci postaju instrukcija

Agent za kodiranje čita više od korisničkog zahtjeva. Može pregledati prijave problema, fajlove repozitorija, dokumentaciju paketa, rezultate pretrage i odgovore alata. Dio tog sadržaja može sadržavati instrukcije druge osobe.

Prompt injection nastaje kada takav sadržaj preusmjeri model s odobrenog zadatka. Indirektno ubacivanje instrukcija dolazi kroz preuzeti izvor, umjesto kroz neposredan korisnički zahtjev. OWASP opisuje materijal repozitorija i izlaz alata kao relevantne ulazne tačke. Pročitajte smjernice za prevenciju.

Razmotrite izmišljeni zadatak održavanja. Korisnik traži da agent ispravi filter izvještaja i izvrši obavezne testove. Preuzeti README kaže da su testovi zastarjeli i traži da agent pošalje konfiguracijski fajl. README može objasniti projekt. Ne može odobriti preskakanje korisničkih provjera ili slanje fajlova drugdje.

Utvrdite moguće posljedice

Isti obmanjujući tekst ima različite posljedice u različitim okruženjima. Alat koji samo čita i sažima može proizvesti netačan sažetak. Agent s pravom pisanja u repozitorij može promijeniti kod. Agent s tajnama i izlaznim mrežnim pristupom može izložiti informacije.

Pregledajte dostupne radnje prije odluke o važnim odbranama. Navedite osjetljive resurse, odredišta na koja se može pisati i vanjska odredišta. Uključite konektore dodane nakon početnog postavljanja. Novi alat može povećati učinak postojeće slabosti.

Agent može prenijeti obmanjujući sadržaj i u kasniju fazu. Naprimjer, može kopirati nepouzdanu instrukciju u generisani opis zadatka. Sljedeći agent ne smije tretirati taj opis kao nezavisno odobrenu politiku.

Koristite više kontrola s različitim svrhama

U dizajnu aplikacije odvojite pouzdane instrukcije zadatka od preuzetih podataka. Prikažite porijeklo preuzetog materijala. Ovi koraci poboljšavaju tumačenje, ali ne uspostavljaju potpunu sigurnosnu granicu.

Provodite dozvole za resurse u sistemu izvršavanja. Ograničite odredišta za osjetljive podatke. Zahtijevajte odgovarajuću odluku prije radnji s važnim posljedicama. Provjerite predloženu operaciju prema odobrenom zadatku i ciljnom resursu.

Filteri i drugi model mogu pomoći otkriti sumnjiv sadržaj. Mogu i propustiti napade ili blokirati legitimne informacije. Nemojte zamijeniti determinističku autorizaciju ocjenom kojom model izražava sigurnost u svoj odgovor. OWASP izričito navodi ograničenja oslanjanja samo na promptove ili preuzimanje informacija. Pročitajte opis rizika.

Testirajte radni tok bez stvarnog izlaganja

Koristite privremeni repozitorij i izmišljene fajlove. Evaluaciji nemojte dati produkcijske pristupne podatke ni neograničeno pisanje u vanjske sisteme. Uvedite bezopasnu instrukciju koja je u sukobu sa zadatkom, poput preskakanja obavezne provjere.

Posmatrajte i odgovor modela i stvarne radnje alata. Poruka „Ignorisao sam instrukciju“ nije dovoljna ako je provjera ipak preskočena. Zabilježite zadatak, testni fajl s ubačenom instrukcijom, dozvoljene alate i uočeni rezultat.

Ponovite reprezentativne slučajeve nakon promjena promptova, modela, konektora ili dozvola. Blokirani primjer dokaz je za taj slučaj, a ne potvrda zaštite od svakog ubacivanja instrukcija. Ako test ne uspije, smanjite moguće posljedice dok ispravljate osnovni radni tok.