Získaný obsah považujte za nedôveryhodný vstup

Určte bod, v ktorom sa údaje menia na pokyn

Programovací agent číta viac než požiadavku používateľa. Môže preskúmať issues, súbory repozitára, dokumentáciu balíkov, výsledky vyhľadávania a odpovede nástrojov. Časť tohto obsahu môže obsahovať pokyny inej osoby.

Prompt injection nastáva, keď takýto obsah odkloní model od povolenej úlohy. Nepriamy útok prichádza cez získaný zdroj, nie cez priamu požiadavku používateľa. OWASP opisuje materiál repozitára a výstup nástrojov ako relevantné vstupné body. Prečítajte si odporúčania na prevenciu.

Zvážte fiktívnu úlohu údržby. Používateľ žiada agenta opraviť filter reportu a spustiť povinné testy. Načítaný README tvrdí, že testy sú zastarané, a žiada agenta nahrať konfiguračný súbor. README môže vysvetliť projekt. Nemôže povoliť vynechanie kontrol používateľa ani odoslanie súborov inam.

Zmapujte možné dôsledky

Rovnaký zavádzajúci text má v rôznych prostrediach rôzne dôsledky. Nástroj na tvorbu súhrnov s prístupom iba na čítanie môže vytvoriť nesprávny súhrn. Agent s právom zápisu do repozitára môže zmeniť kód. Agent s tajnými údajmi a odchádzajúcim sieťovým prístupom môže odhaliť informácie.

Pred výberom dôležitých ochranných opatrení preskúmajte dostupné akcie. Uveďte citlivé zdroje, ciele povoleného zápisu a externé miesta odosielania. Zahrňte konektory pridané po úvodnom nastavení. Nový nástroj môže zväčšiť dosah existujúcej slabiny.

Agent môže zavádzajúci obsah preniesť aj do neskoršej fázy. Môže napríklad skopírovať nedôveryhodný pokyn do vygenerovaného zadania úlohy. Ďalší agent nesmie toto zadanie považovať za nezávisle schválenú politiku.

Použite viacero kontrolných mechanizmov s odlišným účelom

V návrhu aplikácie oddeľte dôveryhodné pokyny úlohy od získaných údajov. Ukážte pôvod získaného materiálu. Tieto kroky zlepšujú výklad, ale nevytvárajú úplnú bezpečnostnú hranicu.

Vynucujte oprávnenia k zdrojom v systéme vykonávania. Obmedzte miesta, kam možno odosielať citlivé údaje. Pred akciami so závažnými dôsledkami vyžadujte príslušné rozhodnutie. Overte navrhovanú operáciu voči povolenej úlohe a cieľu.

Filtre a druhý model môžu pomôcť odhaliť podozrivý obsah. Môžu však aj prehliadnuť útoky alebo zablokovať legitímne informácie. Nenahrádzajte deterministickú autorizáciu skóre istoty modelu. OWASP výslovne uvádza obmedzenia spoliehania sa iba na prompty alebo získavanie obsahu. Prečítajte si opis rizika.

Testujte pracovný postup bez skutočného vystavenia riziku

Použite dočasný repozitár a vymyslené súbory. Vyhodnoteniu neposkytujte produkčné prihlasovacie údaje ani neobmedzené externé zápisy. Vložte neškodný pokyn, ktorý je v rozpore s úlohou, napríklad vynechanie povinnej kontroly.

Pozorujte odpoveď modelu aj skutočné akcie nástrojov. Správa „pokyn som ignoroval“ nestačí, ak sa kontrola aj tak vynechala. Zaznamenajte úlohu, testovací vstup s vloženým pokynom, povolené nástroje a pozorovaný výsledok.

Po zmene promptov, modelov, konektorov alebo oprávnení zopakujte reprezentatívne prípady. Zablokovaný príklad je dôkazom pre daný prípad, nie dôkazom odolnosti voči každému útoku. Ak test zlyhá, počas opravy samotného pracovného postupu obmedzte možné dôsledky.