Kezelje a lekért tartalmat nem megbízható bemenetként

Azonosítsa, hol válik az adat utasítássá

Egy kódoló agent nem csak a felhasználó kérését olvassa. Megvizsgálhat hibajegyeket, repozitárfájlokat, csomagdokumentációt, keresési találatokat és eszközválaszokat. Ezek egy része más személytől származó utasításokat tartalmazhat.

Prompt injection akkor történik, amikor az ilyen tartalom eltéríti a modellt az engedélyezett feladattól. A közvetett injection lekért forrásból érkezik, nem a felhasználó közvetlen kéréséből. Az OWASP a repozitárban lévő anyagokat és az eszközkimeneteket is releváns belépési pontként írja le. A megelőzési útmutató elolvasása.

Vegyünk egy fiktív karbantartási feladatot. A felhasználó egy riport szűrőjének javítását és a szükséges tesztek futtatását kéri. Egy lekért README szerint a tesztek elavultak, és az agentnek fel kell töltenie egy konfigurációs fájlt. A README ismertetheti a projektet. Nem adhat engedélyt a felhasználó által kért ellenőrzések kihagyására vagy fájlok máshová küldésére.

Térképezze fel a lehetséges következményeket

Ugyanannak a félrevezető szövegnek más következményei lehetnek különböző környezetekben. Egy csak olvasási hozzáféréssel működő összefoglaló hibás összegzést készíthet. Egy írási jogosultságú agent módosíthatja a repozitár kódját. Egy titkos értékekhez és kimenő hálózati kapcsolatokhoz hozzáférő agent információt szivárogtathat ki.

Mielőtt eldönti, mely védelmek számítanak, vizsgálja meg az elérhető műveleteket. Sorolja fel az érzékeny erőforrásokat, az írható célokat és a külső célhelyeket. Vegye fel a kezdeti beállítás után hozzáadott connectorokat is. Egy új eszköz felerősítheti a meglévő gyengeség hatását.

Az agent a félrevezető tartalmat egy későbbi szakaszba is továbbviheti. Például átmásolhat egy nem megbízható utasítást egy generált feladatleírásba. A következő agent nem kezelheti ezt a leírást függetlenül jóváhagyott szabályzatként.

Használjon több, eltérő célú kontrollt

Az alkalmazás felépítésében válassza külön a megbízható feladatutasításokat a lekért adatoktól. Mutassa meg a lekért anyag eredetét. Ezek a lépések segítik az értelmezést, de nem alkotnak teljes biztonsági határt.

A végrehajtó rendszerben kényszerítse ki az erőforrás-jogosultságokat. Korlátozza, hová kerülhetnek érzékeny adatok. Jelentős következményű műveletek előtt követelje meg a megfelelő döntést. Ellenőrizze, hogy a javasolt művelet megfelel-e az engedélyezett feladatnak és célerőforrásnak.

Szűrők és egy második modell segíthetnek a gyanús tartalom felismerésében. Támadásokat azonban elvéthetnek, és jogos információkat is blokkolhatnak. Ne helyettesítse a determinisztikus autorizációt a modell saját bizonyosságát jelző pontszámával. Az OWASP kifejezetten felhívja a figyelmet a kizárólag promptokra vagy lekérésre épülő megoldások korlátaira. A kockázat leírásának elolvasása.

Tesztelje a munkafolyamatot valódi kitettség nélkül

Használjon eldobható repozitárt és fiktív fájlokat. Az értékelés ne kapjon éles hitelesítő adatokat vagy korlátlan külső írási lehetőséget. Helyezzen el egy ártalmatlan utasítást, amely ellentmond a feladatnak, például egy kötelező ellenőrzés kihagyását kéri.

Figyelje meg a modell válaszát és az eszközök tényleges műveleteit is. A „figyelmen kívül hagytam az utasítást” üzenet nem elég, ha az ellenőrzés mégis kimaradt. Rögzítse a feladatot, a beillesztett tesztanyagot, az engedélyezett eszközöket és a megfigyelt eredményt.

A promptok, modellek, connectorok vagy jogosultságok módosítása után ismételjen meg reprezentatív eseteket. Egy blokkolt példa az adott esetre szolgáltat bizonyítékot, nem minden injection elleni védelmet igazol. Ha a teszt sikertelen, a munkafolyamat javítása közben korlátozza a lehetséges következményeket.