Käsittele haettu sisältö epäluotettavana syötteenä

Tunnista kohta, jossa tieto muuttuu ohjeeksi

Coding agent lukee muutakin kuin käyttäjän pyynnön. Se voi tutkia issueita, repository-tiedostoja, pakettidokumentaatiota, hakutuloksia ja työkaluvastauksia. Mukana voi olla toisen henkilön kirjoittamia toimintaohjeita.

Prompt injection ohjaa mallia pois sallitusta tehtävästä tällaisen sisällön avulla. Epäsuora hyökkäys tulee haetusta lähteestä eikä käyttäjän varsinaisesta pyynnöstä. OWASP nimeää repository-aineiston ja työkaluvastaukset mahdollisiksi sisääntulokohdiksi. Lue torjuntaohje.

Kuvitellaan ylläpitotehtävä. Käyttäjä pyytää korjaamaan raporttisuodattimen ja ajamaan vaaditut testit. Haettu README väittää testien vanhentuneen ja pyytää lähettämään asetustiedoston ulkopuolelle. README voi kuvata projektia. Se ei voi antaa lupaa ohittaa tarkistuksia tai lähettää tiedostoja muualle.

Selvitä mahdolliset seuraukset

Sama harhaanjohtava teksti aiheuttaa eri ympäristöissä eri seurauksia. Vain lukeva tiivistäjä voi tuottaa väärän yhteenvedon. Kirjoitusoikeuksilla toimiva agentti voi muuttaa koodia. Salaisuuksiin ja ulkoiseen verkkoon pääsevä agentti voi luovuttaa tietoa.

Tarkasta mahdolliset toimet ennen torjuntakeinojen valintaa. Listaa arkaluonteiset resurssit, kirjoituskohteet ja ulkoiset vastaanottajat. Huomioi myös myöhemmin lisätyt connectorit. Uusi työkalu voi kasvattaa vanhan heikkouden seurauksia.

Agentti voi siirtää harhaanjohtavan ohjeen seuraavaan vaiheeseen esimerkiksi generoimalla siitä tehtävänannon. Seuraava agentti ei saa pitää tällaista tekstiä erikseen hyväksyttynä politiikkana.

Käytä eri tarkoituksiin sopivia kontrolleja

Erota luotetut tehtäväohjeet haetusta datasta sovelluksen rakenteessa. Näytä aineiston alkuperä. Tämä auttaa tulkintaa, mutta ei vielä toteuta kattavaa tietoturvarajaa.

Valvo resurssien oikeuksia suoritusjärjestelmässä. Rajaa arkaluonteisen tiedon vastaanottajat. Vaadi merkittäville toimille asianmukainen päätös. Tarkista ehdotettu operaatio sallittua tehtävää ja kohdetta vasten.

Suodattimet ja toinen malli voivat tunnistaa epäilyttävää sisältöä. Ne voivat myös päästää hyökkäyksen läpi tai estää kelvollista aineistoa. Mallin confidence-arvo ei korvaa oikeustarkistusta. OWASP kuvaa promptien ja retrievalin varaan rakennetun suojauksen rajat. Lue riskikuvaus.

Testaa ilman todellista altistusta

Käytä kertakäyttöistä repositorya ja kuvitteellisia tiedostoja. Testillä ei saa olla tuotantocredentialeja tai rajoittamattomia ulkoisia kirjoitusoikeuksia. Lisää harmiton mutta tehtävän kanssa ristiriitainen ohje, kuten pakollisen tarkistuksen ohittaminen.

Katso mallin vastauksen lisäksi todelliset työkalutoimet. Ilmoitus ”sivuutin ohjeen” ei riitä, jos tarkistus silti jäi tekemättä. Kirjaa tehtävä, fixture, sallitut työkalut ja havaittu tulos.

Toista edustavat tapaukset promptien, mallien, connectorien tai oikeuksien muuttuessa. Yhden esimerkin estyminen ei todista suojausta kaikkia hyökkäyksiä vastaan. Jos testi epäonnistuu, rajaa mahdollisia seurauksia samalla kun korjaat työnkulun.