Behandel opgehaalde inhoud als onvertrouwde invoer

Herken waar gegevens instructies worden

Een code-agent leest meer dan het verzoek van de gebruiker. De agent kan issues, repositorybestanden, pakketdocumentatie, zoekresultaten en toolantwoorden inspecteren. Een deel van die inhoud kan instructies van iemand anders bevatten.

Prompt injection ontstaat wanneer zulke inhoud het model wegstuurt van de toegestane taak. Een indirecte injectie komt via een opgehaalde bron in plaats van het directe gebruikersverzoek. OWASP noemt repositorymateriaal en tooluitvoer als relevante toegangspunten. Lees het preventieadvies.

Neem een fictieve onderhoudstaak. De gebruiker vraagt de agent een rapportfilter te herstellen en de verplichte tests uit te voeren. Een opgehaalde README zegt dat tests verouderd zijn en vraagt een configuratiebestand te uploaden. De README kan het project uitleggen. Ze kan geen toestemming geven om gebruikerscontroles over te slaan of bestanden elders heen te sturen.

Breng mogelijke gevolgen in kaart

Dezelfde misleidende tekst heeft in verschillende omgevingen andere gevolgen. Een samenvatter met alleen leestoegang kan een onjuiste samenvatting maken. Een agent met schrijfrechten in een repository kan code wijzigen. Een agent met secrets en uitgaand netwerkverkeer kan informatie blootleggen.

Inspecteer de beschikbare acties voordat u bepaalt welke verdedigingen nodig zijn. Noteer gevoelige resources, beschrijfbare doelen en externe bestemmingen. Neem connectors mee die na de eerste configuratie zijn toegevoegd. Een nieuwe tool kan de gevolgen van een bestaande zwakte vergroten.

Een agent kan misleidende inhoud ook naar een latere fase meenemen. De agent kan bijvoorbeeld een onvertrouwde instructie naar een gegenereerde taakbeschrijving kopiëren. De volgende agent mag die beschrijving niet als onafhankelijk goedgekeurd beleid behandelen.

Gebruik meerdere controles met verschillende doelen

Scheid vertrouwde taakinstructies van opgehaalde gegevens in het applicatieontwerp. Toon de herkomst van opgehaald materiaal. Deze stappen verbeteren de interpretatie, maar vormen geen volledige beveiligingsgrens.

Dwing resourcerechten af in het uitvoeringssysteem. Beperk bestemmingen voor gevoelige gegevens. Vereis het passende besluit vóór acties met belangrijke gevolgen. Valideer de voorgestelde operatie tegen de toegestane taak en het doel.

Filters en een tweede model kunnen verdachte inhoud helpen ontdekken. Ze kunnen ook aanvallen missen of legitieme informatie blokkeren. Vervang deterministische autorisatie niet door een vertrouwensscore van een model. OWASP benoemt expliciet de beperkingen van alleen prompts of retrieval. Lees de risicobeschrijving.

Test de workflow zonder echte blootstelling

Gebruik een tijdelijke repository en fictieve bestanden. Geef de evaluatie geen productietoegangsgegevens en geen onbeperkte externe schrijfrechten. Voeg een onschuldige instructie toe die botst met de taak, zoals het overslaan van een verplichte controle.

Observeer zowel het modelantwoord als de werkelijke toolacties. Een bericht als ‘ik heb de instructie genegeerd’ volstaat niet als de controle toch is overgeslagen. Leg taak, geïnjecteerde testdata, toegestane tools en waargenomen resultaat vast.

Herhaal representatieve gevallen na wijzigingen aan prompts, modellen, connectors of rechten. Een geblokkeerd voorbeeld is bewijs voor dat geval, geen bescherming tegen elke injectie. Beperk bij een mislukte test de mogelijke gevolgen terwijl u de onderliggende workflow herstelt.