Uztveriet iegūto saturu kā neuzticamu ievadi

Atrodiet vietu, kur dati kļūst par instrukciju

Programmēšanas aģents lasa vairāk nekā lietotāja pieprasījumu. Tas var pārbaudīt pieteikumus, repozitorija failus, pakotņu dokumentāciju, meklēšanas rezultātus un rīku atbildes. Daļa šī satura var ietvert citas personas instrukcijas.

Prompt injection notiek, kad šāds saturs novirza modeli no atļautā uzdevuma. Netieša instrukciju injekcija nonāk caur iegūtu avotu, nevis lietotāja tiešu pieprasījumu. OWASP apraksta repozitorija materiālus un rīku izvadi kā būtiskus ieejas punktus. Lasiet novēršanas norādes.

Aplūkojiet izdomātu uzturēšanas uzdevumu. Lietotājs lūdz aģentam izlabot pārskata filtru un palaist obligātos testus. Iegūts README saka, ka testi ir novecojuši, un lūdz aģentam augšupielādēt konfigurācijas failu. README var izskaidrot projektu. Tas nevar atļaut izlaist lietotāja pārbaudes vai sūtīt failus citur.

Apziniet iespējamās sekas

Vienam un tam pašam maldinošajam tekstam dažādās vidēs ir atšķirīgas sekas. Tikai lasīšanas kopsavilkumu veidotājs var radīt nepareizu kopsavilkumu. Aģents ar rakstīšanas tiesībām repozitorijā var mainīt kodu. Aģents ar slepeniem datiem un izejošu tīkla piekļuvi var atklāt informāciju.

Pirms izlemjat, kuri aizsardzības pasākumi ir svarīgi, pārbaudiet pieejamās darbības. Uzskaitiet sensitīvos resursus, rakstāmos resursus un ārējos galamērķus. Iekļaujiet savienotājus, kas pievienoti pēc sākotnējās uzstādīšanas. Jauns rīks var palielināt esošas nepilnības ietekmi.

Aģents var arī pārnest maldinošu saturu uz vēlāku posmu. Piemēram, tas var nokopēt neuzticamu instrukciju ģenerētā uzdevuma aprakstā. Nākamais aģents nedrīkst uztvert šo aprakstu kā neatkarīgi apstiprinātu politiku.

Izmantojiet vairākas kontroles ar atšķirīgiem nolūkiem

Lietotnes projektējumā atdaliet uzticamas uzdevuma instrukcijas no iegūtiem datiem. Parādiet iegūtā materiāla izcelsmi. Šie soļi uzlabo interpretāciju, bet nenodrošina pilnīgu drošības robežu.

Nodrošiniet resursu tiesību ievērošanu izpildes sistēmā. Ierobežojiet sensitīvo datu galamērķus. Pirms darbībām ar būtiskām sekām prasiet atbilstošu lēmumu. Pārbaudiet piedāvāto darbību pret atļauto uzdevumu un mērķa resursu.

Filtri un otrs modelis var palīdzēt atklāt aizdomīgu saturu. Tie var arī nepamanīt uzbrukumus vai bloķēt leģitīmu informāciju. Neaizstājiet deterministisku autorizāciju ar modeļa pārliecības vērtējumu. OWASP skaidri norāda ierobežojumus paļāvībai tikai uz uzvednēm vai informācijas iegūšanu. Lasiet riska aprakstu.

Pārbaudiet darbplūsmu bez īsta apdraudējuma

Izmantojiet vienreizlietojamu repozitoriju un izdomātus failus. Novērtējumam nedodiet produkcijas piekļuves datus vai neierobežotas ārējās rakstīšanas tiesības. Pievienojiet nekaitīgu instrukciju, kas ir pretrunā uzdevumam, piemēram, izlaist obligātu pārbaudi.

Novērojiet gan modeļa atbildi, gan faktiskās rīku darbības. Ar ziņojumu „es ignorēju instrukciju“ nepietiek, ja pārbaude tomēr tika izlaista. Reģistrējiet uzdevumu, injicētos testa datus, atļautos rīkus un novēroto rezultātu.

Atkārtojiet raksturīgus gadījumus pēc uzvedņu, modeļu, savienotāju vai tiesību maiņas. Bloķēts piemērs ir pierādījums šim gadījumam, nevis aizsardzības pierādījums pret katru injekciju. Ja tests neizdodas, samaziniet iespējamo seku apjomu, kamēr labojat darbplūsmas pamatproblēmu.