3.4標準
FAQ回答アプリのモデルを更新する。
更新前後で正確性、関連性、安全性が悪化していないか比較したい。
評価データの準備として最も適切なものはどれか。
× 不正解
生成AIアプリケーションは、代表質問と期待される振る舞いを含む固定評価セットで、更新前後の品質・安全性を比較する。
詳細解説
誤り評価結果を見ずに本番へ切り替える
品質や安全性の回帰を検出できず、利用者への影響が大きくなる。
正しい代表的な質問、期待回答、許容される根拠や禁止出力を含む評価セットを固定する
同じ評価セットを更新前後に使うことで、品質指標を比較し、回帰を検出できる。
誤りモデルが生成した回答だけを正解として採用する
自己生成結果だけでは正確性や安全性の基準にならない。
誤り最も簡単な質問を1問だけ繰り返す
実運用の多様な質問、境界条件、拒否すべき入力を代表できない。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
Task 3.4の評価手法とBedrock公式のモデル・RAG評価の説明を確認する。FAQ更新前後に同じ質問と判定基準を使う表を作り、期待される根拠と禁止される出力を区別する。
参考にした公式資料
確認できる内容
評価用データを学習用データと区別し、正確性・関連性・安全性の比較基準を事前に定義できる。
理解のポイント
- 評価セット
- 回帰
- 正確性と安全性
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- 評価セットを固定することは、訓練や微調整へ同じ正解を混ぜることではない。比較対象から評価基準を独立させる。
- 期待回答は一つの完全一致文字列に限らない。許容される根拠、言い換え、拒否の条件も判定基準にできる。
基礎のおさらい
評価セット
代表的な入力と、期待する回答・根拠・拒否などを定義した比較用データ。
回帰
モデルやプロンプトの変更後に、以前できていた品質が低下すること。
問題IDAWS-AIF-042
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-10-23
誤り・権利侵害を報告