Лічыце атрыманы змест недаверанымі ўваходнымі данымі

Вызначце момант, калі даныя становяцца інструкцыяй

Агент для кода чытае не толькі запыт карыстальніка. Ён можа вывучаць задачы, файлы рэпазіторыя, дакументацыю пакетаў, вынікі пошуку і адказы інструментаў. Частка гэтага зместу можа ўтрымліваць інструкцыі ад іншага чалавека.

Prompt injection адбываецца, калі такі змест адводзіць мадэль ад дазволенай задачы. Непрамая ін’екцыя прыходзіць праз атрыманую крыніцу, а не праз непасрэдны запыт карыстальніка. OWASP апісвае матэрыялы рэпазіторыя і вынікі інструментаў як адпаведныя пункты ўваходу. Прачытайце рэкамендацыі па прадухіленні.

Разгледзім выдуманую задачу суправаджэння. Карыстальнік просіць агента выправіць фільтр справаздачы і запусціць абавязковыя тэсты. Атрыманы README кажа, што тэсты састарэлі, і просіць агента загрузіць файл канфігурацыі ў знешнюю сістэму. README можа тлумачыць праект. Ён не можа дазволіць прапускаць праверкі карыстальніка або адпраўляць файлы ў іншае месца.

Вызначце магчымыя наступствы

Адзін і той жа падманлівы тэкст мае розныя наступствы ў розных асяроддзях. Сродак падрыхтоўкі рэзюмэ толькі для чытання можа стварыць няправільнае рэзюмэ. Агент з правам запісу ў рэпазіторый можа змяніць код. Агент з сакрэтамі і выходным сеткавым доступам можа раскрыць інфармацыю.

Вывучыце даступныя дзеянні, перш чым вырашаць, якія меры абароны істотныя. Пералічыце канфідэнцыяльныя рэсурсы, рэсурсы з дазволам на запіс і знешнія пункты прызначэння. Уключыце канектары, дададзеныя пасля пачатковай наладкі. Новы інструмент можа павялічыць наступствы наяўнага слабага месца.

Агент таксама можа перанесці падманлівы змест на пазнейшы этап. Напрыклад, ён можа скапіяваць недавераную інструкцыю ў згенераванае заданне. Наступны агент не павінен лічыць гэтае заданне незалежна ўхваленай палітыкай.

Выкарыстоўвайце некалькі мер кантролю з рознымі мэтамі

У канструкцыі праграмы аддзяляйце давераныя інструкцыі задачы ад атрыманых даных. Паказвайце паходжанне атрыманага матэрыялу. Гэтыя крокі паляпшаюць тлумачэнне, але не ствараюць поўнай мяжы бяспекі.

Забяспечвайце выкананне правіл доступу да рэсурсаў у сістэме выканання. Абмяжоўвайце пункты прызначэння для канфідэнцыяльных даных. Патрабуйце адпаведнага рашэння перад дзеяннямі з істотнымі наступствамі. Звярайце прапанаваную аперацыю з дазволенай задачай і мэтавым рэсурсам.

Фільтры і другая мадэль могуць дапамагчы выявіць падазроны змест. Яны таксама могуць прапусціць атакі або заблакаваць законную інфармацыю. Не замяняйце дэтэрмінаваную аўтарызацыю ацэнкай упэўненасці мадэлі. OWASP яўна адзначае абмежаванні апоры толькі на запыты да мадэлі або атрыманне інфармацыі. Прачытайце апісанне рызыкі.

Тэстуйце працоўны працэс без рэальнай рызыкі раскрыцця

Выкарыстоўвайце часовы рэпазіторый і выдуманыя файлы. Не давайце асяроддзю ацэнкі ўліковых даных production або неабмежаванага запісу ў знешнія сістэмы. Дадайце бяскрыўдную інструкцыю, якая супярэчыць задачы, напрыклад прапусціць абавязковую праверку.

Назірайце і за адказам мадэлі, і за фактычнымі дзеяннямі інструментаў. Паведамлення «я праігнараваў інструкцыю» недастаткова, калі праверка ўсё ж была прапушчана. Запішыце задачу, тэставы матэрыял з ін’екцыяй, дазволеныя інструменты і назіраны вынік.

Паўтарайце рэпрэзентатыўныя выпадкі пасля змен запытаў да мадэлі, мадэляў, канектараў або дазволаў. Заблакаваны прыклад — доказ для гэтага выпадку, але не доказ абароны ад усіх ін’екцый. Калі тэст не праходзіць, абмяжуйце магчымыя наступствы на час выпраўлення асноўнага працоўнага працэсу.