取得した内容を信頼できない入力として扱う

データが指示に変わる地点を見つける

コーディングエージェントは、利用者の依頼以外も読みます。issue、リポジトリのファイル、パッケージのドキュメント、検索結果、ツールの応答を調べられます。その中に、別の人が書いた指示が含まれることがあります。

そのような内容によって、モデルが許可されたタスクから外れることをprompt injectionといいます。間接的なinjectionは、利用者の直接の依頼ではなく、取得した情報源から届きます。OWASPは、リポジトリの資料やツール出力を関連する侵入経路として説明しています。防止策のガイドを確認してください。

架空の保守タスクを考えます。利用者は、レポートのフィルターを修正し、必須テストを実行するよう依頼しました。取得したREADMEは、テストは古いと主張し、設定ファイルのアップロードを求めています。READMEはプロジェクトを説明できます。しかし、利用者が求めた確認を省略したり、ファイルを別の場所へ送ったりする許可は与えられません。

起こり得る影響を整理する

同じ誤誘導のテキストでも、環境によって影響は異なります。読み取り専用の要約ツールなら、誤った要約を出すかもしれません。リポジトリに書き込めるエージェントは、コードを変更できます。シークレットと外向きのネットワークアクセスを持つエージェントは、情報を漏らす可能性があります。

必要な防御策を決める前に、実行可能な操作を調べます。機密リソース、書き込み先、外部への送信先を列挙します。初期設定の後に追加したコネクターも含めてください。新しいツールで、既存の弱点の影響が拡大する場合があります。

エージェントが、誤誘導の内容を次の段階へ運ぶこともあります。例えば、信頼できない指示を、生成した作業指示書へコピーするかもしれません。次のエージェントは、その指示書を独立に承認されたポリシーとして扱ってはいけません。

目的の異なる管理策を組み合わせる

アプリ設計では、信頼できるタスクの指示と、取得したデータを分離します。取得した資料の出所を示します。これらは解釈の改善に役立ちますが、完全なセキュリティ境界を確立するものではありません。

実行システムでリソースの権限を強制します。機密データの送信先を制限します。影響の大きい操作の前に、適切な判断を求めます。提案された操作を、許可されたタスクと対象に照らして検証します。

フィルターや別のモデルは、不審な内容の検出を支援できます。ただし、攻撃を見逃したり、正当な情報を遮断したりすることもあります。確定的なルールに基づく認可を、モデルの確信度に置き換えてはいけません。OWASPは、プロンプトや検索取得だけに依存することの限界を明示しています。リスクの説明を確認してください。

実際の情報を危険にさらさずにテストする

使い捨てのリポジトリと架空のファイルを使います。本番の認証情報や、無制限の外部書き込み権限を評価に与えないでください。必須の確認を省略するなど、タスクと矛盾する無害な指示を入れます。

モデルの応答と、実際のツール操作の両方を観察します。「その指示を無視しました」と回答しても、確認が省略されていれば不十分です。タスク、指示を埋め込んだテストデータ、許可したツール、観察した結果を記録します。

プロンプト、モデル、コネクター、権限を変えたら、代表的なケースを再実行します。一つの例を遮断できたことは、そのケースの証拠です。すべてのinjectionに対する証明ではありません。テストに失敗した場合は、ワークフローの根本を修正する間、起こり得る影響を制限してください。