Dohvaćeni sadržaj tretirajte kao nepouzdan ulaz

Utvrdite gdje podatak postaje uputa

Agent za programiranje čita više od korisnikova zahtjeva. Može pregledati prijave, datoteke repozitorija, dokumentaciju paketa, rezultate pretraživanja i odgovore alata. Dio sadržaja može sadržavati upute druge osobe.

Prompt injection nastaje kad takav sadržaj preusmjeri model s odobrenog zadatka. Neizravni napad dolazi kroz dohvaćeni izvor umjesto izravnog korisnikova zahtjeva. OWASP opisuje materijale repozitorija i izlaze alata kao relevantne ulazne točke. Pročitajte smjernice za sprječavanje.

Razmotrite izmišljeni zadatak održavanja. Korisnik traži da agent ispravi filtar izvješća i pokrene obvezne testove. Dohvaćeni README tvrdi da su testovi zastarjeli i traži da agent učita konfiguracijsku datoteku na vanjsko odredište. README može objasniti projekt. Ne može odobriti preskakanje korisnikovih provjera ni slanje datoteka drugamo.

Prikažite moguće posljedice

Isti obmanjujući tekst ima različite posljedice u različitim okruženjima. Alat za sažimanje s pristupom samo za čitanje može dati pogrešan sažetak. Agent s pisanjem u repozitorij može promijeniti kod. Agent s tajnim podacima i izlaznim mrežnim pristupom može izložiti informacije.

Prije odluke o važnim obranama pregledajte dostupne radnje. Navedite osjetljive resurse, odredišta za pisanje i vanjska odredišta. Uključite konektore dodane nakon početnog postavljanja. Novi alat može povećati učinak postojeće slabosti.

Agent može prenijeti obmanjujući sadržaj i u kasniju fazu. Primjerice, može kopirati nepouzdanu uputu u generirani opis zadatka. Sljedeći agent ne smije taj opis tretirati kao neovisno odobreno pravilo.

Upotrijebite više kontrola s različitim svrhama

U dizajnu aplikacije odvojite pouzdane upute zadatka od dohvaćenih podataka. Prikažite podrijetlo dohvaćenog materijala. Ti koraci poboljšavaju tumačenje, ali ne uspostavljaju potpunu sigurnosnu granicu.

Provedite ovlasti za resurse u sustavu izvršavanja. Ograničite odredišta osjetljivih podataka. Prije radnji s važnim posljedicama zahtijevajte odgovarajuću odluku. Provjerite predloženu operaciju prema odobrenom zadatku i ciljnom resursu.

Filtri i drugi model mogu pomoći otkriti sumnjiv sadržaj. Mogu i propustiti napade ili blokirati legitimne informacije. Nemojte determinističku autorizaciju zamijeniti ocjenom sigurnosti modela u vlastiti odgovor. OWASP izričito navodi ograničenja oslanjanja samo na promptove ili dohvat. Pročitajte opis rizika.

Testirajte postupak bez stvarnog izlaganja

Upotrijebite jednokratan repozitorij i izmišljene datoteke. Evaluaciji nemojte dati produkcijske vjerodajnice ni neograničeno pisanje u vanjske sustave. Uvedite bezopasnu uputu koja proturječi zadatku, poput preskakanja obvezne provjere.

Promatrajte odgovor modela i stvarne radnje alata. Poruka „zanemario sam uputu” nije dovoljna ako je provjera ipak preskočena. Zabilježite zadatak, testni primjer s umetnutom uputom, dopuštene alate i opaženi rezultat.

Ponovite reprezentativne slučajeve nakon promjena promptova, modela, konektora ili ovlasti. Blokiran primjer dokaz je za taj slučaj, a ne dokaz zaštite od svakog napada. Ako test padne, smanjite moguće posljedice dok ispravljate temeljni postupak.