5.1標準
会話履歴に、以前の指示を無視するよう求める発言が含まれる。
ツール実行を安全に制限する。
対策として適切なものを2つ選べ。
× 不正解
多ターンの入力も信頼境界で分け、固定ポリシーを各ターンに適用する。ツールは許可リスト・引数検証・確認で生成文の権限を制限する。
詳細解説
誤り会話履歴は一度検証したら永久に信頼する
不信な内容が残る。
誤りモデルが作ったツール引数を確認せず実行する
間違いや攻撃を実行する。
正しい各ターンで固定ポリシーを再適用し、履歴・検索文書・ユーザー入力を信頼度別に区切る
古い入力でルールを上書きしにくい。
正しいツール呼び出しの許可リスト、引数検証、確認・承認を設ける
生成文の権限を制限できる。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
Task 5.1と多層防御・アクション確認の資料を読む。仮想会話を数ターン追い、利用者の発言・検索結果・過去の生成文がどこへ残るかを確認し、各ツール操作の直前に適用する方針・引数検証・承認の条件を整理する。
参考にした公式資料
確認できる内容
過去に受け入れた履歴や生成文を新しい権限の根拠にせず、各操作に対して現在の方針と許可を確認できる。
理解のポイント
- 多ターン
- 許可リスト
- 引数検証
確認時の注意
- 確認環境: 公式資料と仮想例による参照確認。AWS APIの呼出し、業務データの取得、後続処理の実行は不要。
- 「各ターンで再適用」は、同じ指示文を繰り返せば安全になるという意味ではない。信頼された方針を維持し、実行側で操作の許可条件を確認する。
- 以前に安全だった会話でも、新しい入力・ツール結果・引数に応じて判断が必要になる。過去の承認を後続の別操作へ無条件で引き継がない。
基礎のおさらい
履歴の出所と権威
会話へ保存した内容も、利用者・外部文書・生成文という出所を区別する。過去の生成文や要約に、方針を変更する権限が新たに生まれるわけではない。
操作ごとの方針適用
会話の最初だけでなく、各ツール操作で現在の方針・引数・対象の権限と必要な承認を確認すること。
問題IDAWS-AIF-439
確認環境公式資料と仮想例による参照確認。AWS APIの呼出し、業務データの取得、後続処理の実行は不要。
最終技術確認2026-10-26
誤り・権利侵害を報告