文書検索型のチャットボットが、取得した文書中の命令文を実行して機密情報を出力した。
取得文書は利用者が投稿できる。
このリスクに対する説明として最も適切なものはどれか。
プロンプトインジェクションは、信頼できない入力に含まれる命令が、システムの意図した指示やデータ境界を逸脱させるリスクである。
詳細解説
信頼できない入力に含まれる指示が、システムやユーザーの目的を逸脱させる攻撃である。
信頼できない入力に含まれる指示が、システムやユーザーの目的を逸脱させる攻撃である。
問題の要件では、入力データ内の悪意ある指示がモデルの本来の指示を上書きしようとするプロンプトインジェクションであるが解決する範囲と、別の工程が担う範囲を分けて判断する。
学習データ量ではなく、信頼できない入力を命令として扱う境界が問題になる。
学習データ量ではなく、信頼できない入力を命令として扱う境界が問題になる。
問題の要件では、モデルの学習データが少ないことだけが原因であるが解決する範囲と、別の工程が担う範囲を分けて判断する。
保存データの暗号化や可用性とは異なる、入力と命令の分離に関するリスクである。
保存データの暗号化や可用性とは異なる、入力と命令の分離に関するリスクである。
問題の要件では、暗号化した保存データの可用性障害であるが解決する範囲と、別の工程が担う範囲を分けて判断する。
攻撃者が意図しない命令を入力へ混ぜるセキュリティ上の問題である。
攻撃者が意図しない命令を入力へ混ぜるセキュリティ上の問題である。
問題の要件では、出力の文字数を増やすための正当なプロンプト技法であるが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01ガイドのDomain 2.3とAmazon BedrockのPrompt management・Guardrails関連説明を確認する。期待される結果
信頼できない入力とシステム指示を分離し、権限・出力検査・ガードレールを設計する必要を説明できる。理解のポイント
- 信頼できない入力
- 指示の優先順位
- 入力と権限の分離
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
プロンプトインジェクション
入力に混入した指示でモデルの本来の目的や制約を逸脱させる攻撃。
権限分離
モデルの出力や入力だけで高権限操作が実行されないよう、別の認可と検証を置く設計。