4.3標準
公開チャットボットの安全性を本番前に確認する。
通常のテストだけでは見つからない失敗を探す。
最も適切な評価方法はどれか。
× 不正解
レッドチーム試験は攻撃者の視点でインジェクション、抽出、危険要求、回避入力を試し、安全制御の弱点を明らかにする。
詳細解説
正しいプロンプトインジェクション、情報抽出、危険な要求、回避入力を含む独立したレッドチーム試験を実施する
攻撃者の視点で安全制御の弱点を見つけられる。
攻撃者の視点で安全制御の弱点を見つけられる。
問題の要件では、プロンプトインジェクション、情報抽出、危険な要求、回避入力を含む独立したレッドチーム試験を実施するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り正常な質問だけを大量に実行する
敵対的な失敗を十分に検出できない。
敵対的な失敗を十分に検出できない。
問題の要件では、正常な質問だけを大量に実行するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤りモデルの公開ベンチマーク点だけで安全性を判断する
用途固有の攻撃面を測っていない。
用途固有の攻撃面を測っていない。
問題の要件では、モデルの公開ベンチマーク点だけで安全性を判断するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り危険な入力をテストしないことを安全対策とする
未検証の弱点が残る。
未検証の弱点が残る。
問題の要件では、危険な入力をテストしないことを安全対策とするが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 4.3の安全性評価、レッドチーム、ガードレールを確認する。期待される結果
正常系の精度だけでなく、敵対的入力に対する安全性を評価できる。理解のポイント
- レッドチーム
- 敵対的入力
- 安全性評価
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
レッドチーム試験
攻撃者の視点でシステムの弱点を探す評価。
回避入力
安全制御や拒否をすり抜けるよう工夫された入力。
問題IDAWS-AIF-543
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告