Käsitle hangitud sisu ebausaldusväärse sisendina

Tuvasta koht, kus andmetest saab juhis

Koodiagent loeb enamat kui kasutaja soovi. Ta saab uurida tööülesandeid, koodihoidla faile, pakettide dokumentatsiooni, otsingutulemusi ja tööriistavastuseid. Osa sellest sisust võib sisaldada teise inimese juhiseid.

Prompt injection tekib siis, kui selline sisu suunab mudeli lubatud ülesandest kõrvale. Kaudne rünne saabub hangitud allika kaudu, mitte kasutaja otsese soovina. OWASP kirjeldab koodihoidla materjali ja tööriistaväljundit asjakohaste sisenemiskohtadena. Loe ennetusjuhendit.

Vaata väljamõeldud hooldusülesannet. Kasutaja palub agendil parandada aruandefiltri ja käivitada nõutud testid. Hangitud README ütleb, et testid on aegunud, ning palub agendil laadida üles seadistusfaili. README saab projekti selgitada. See ei saa anda luba kasutaja kontrollide vahelejätmiseks ega failide mujale saatmiseks.

Kaardista võimalikud tagajärjed

Samal eksitaval tekstil on eri keskkondades erinevad tagajärjed. Ainult lugemisõigusega kokkuvõtja võib teha vale kokkuvõtte. Koodihoidlasse kirjutamise õigusega agent saab koodi muuta. Saladuste ja väljuva võrguühendusega agent võib teavet avaldada.

Uuri võimalikke tegevusi enne, kui otsustad, millised kaitsemeetmed on olulised. Loetle tundlikud ressursid, kirjutatavad sihtkohad ja välised sihtkohad. Lisa pärast esialgset seadistust lisatud konnektorid. Uus tööriist võib olemasoleva nõrkuse mõju suurendada.

Agent võib eksitava sisu viia ka hilisemasse etappi. Näiteks võib ta kopeerida ebausaldusväärse juhise genereeritud lähteülesandesse. Järgmine agent ei tohi käsitleda seda lähteülesannet sõltumatult heaks kiidetud reeglina.

Kasuta mitut eri eesmärgiga kontrolli

Erista rakenduse kavandis usaldatud ülesandejuhised hangitud andmetest. Näita hangitud materjali päritolu. Need sammud parandavad tõlgendamist, kuid ei loo täielikku turvapiiri.

Jõusta ressursiõigused täitmissüsteemis. Piira tundlike andmete sihtkohti. Nõua enne oluliste tagajärgedega tegevusi asjakohast otsust. Kontrolli pakutud toimingu vastavust lubatud ülesandele ja sihtmärgile.

Filtrid ja teine mudel võivad aidata kahtlast sisu tuvastada. Need võivad ka rünnakuid märkamata jätta või õiguspärast teavet blokeerida. Ära asenda deterministlikku autoriseerimist mudeli kindlustundega. OWASP märgib selgelt ainult prompt’idele või infohankele toetumise piiranguid. Loe riski kirjeldust.

Katseta töövoogu ilma tegeliku ohustamiseta

Kasuta ajutist koodihoidlat ja väljamõeldud faile. Ära anna hindamisele tootmiskeskkonna autentimisandmeid ega piiramatuid väliseid kirjutusõigusi. Lisa kahjutu juhis, mis on ülesandega vastuolus, näiteks nõutava kontrolli vahelejätmine.

Jälgi nii mudeli vastust kui ka tegelikke tööriistatoiminguid. Sõnumist „eirasingi juhist“ ei piisa, kui kontroll jäeti siiski vahele. Pane kirja ülesanne, sisestatud testmaterjal, lubatud tööriistad ja täheldatud tulemus.

Korda esinduslikke juhtumeid pärast prompt’ide, mudelite, konnektorite või õiguste muutmist. Blokeeritud näide on tõend selle juhtumi kohta, mitte kaitse tõend kõigi rünnete vastu. Testi ebaõnnestumisel vähenda võimalikku tagajärge, kuni parandad aluseks olevat töövoogu.