3.4標準
モデル更新のたびに回答品質を比較する。
通常質問、危険入力、拒否すべき質問を含めて回帰を検出する。
評価セットとして適切なものを2つ選べ。
× 不正解
固定評価セットは代表質問と期待根拠を保ち、安全性・拒否・境界例も含める。平均だけでなく重大な個別失敗を確認する。
詳細解説
誤りモデル更新ごとに質問と正解を全て変える
比較基準がなくなる。
誤り平均スコアだけを見て個別の重大失敗を無視する
少数でも影響の大きい失敗を見落とす。
正しい代表的な通常質問と、業務上重要な正解・根拠を固定して持つ
版をまたいだ品質比較ができる。
正しい安全性、拒否、境界例、言語・長さの異なるケースを含める
通常品質だけでなく失敗と安全性の回帰を検知できる。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
Task 3.4の基盤モデルとアプリケーションの評価を読む。代表質問に加え、拒否・安全性・言語・長さの境界例を分類し、同じ判定基準で平均品質と重大失敗を分けて比較する表を作る。
参考にした公式資料
確認できる内容
固定した比較用の質問と基準を保ち、平均値で隠れる重大失敗や境界例を別に確認できる。
理解のポイント
- 固定セット
- 回帰
- 境界例
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- 固定セットだけでは新しい利用傾向を代表できなくなる場合がある。比較用の版を維持しつつ、追加ケースと基準の変更を記録する。
- 安全性の重大失敗は平均スコアだけで相殺せず、事前に決めた合否条件として個別に確認する。
基礎のおさらい
ゴールデンセット
期待する回答や判定を人手で確認した、回帰テスト用の固定評価データ。
回帰
変更後に、以前満たしていた品質や安全性が低下すること。
問題IDAWS-AIF-203
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-10-23
誤り・権利侵害を報告