2.3標準
要約プロンプトを変更し、回答が短くなった。
短さだけで変更の成功を判断しない。
評価方法として適切なものを2つ選べ。
× 不正解
プロンプト変更は固定した代表・境界入力で前後比較し、正確性・完全性・安全性・費用などの複数指標で評価する。
詳細解説
正しい代表入力と境界入力の固定評価セットを使う
変更前後を同じ条件で比較できる。
変更前後を同じ条件で比較できる。
問題の要件では、代表入力と境界入力の固定評価セットを使うが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい正確性、漏れ、形式、安全性、遅延、費用など複数の指標を見る
一つの望ましい指標だけでは退行を見逃す。
一つの望ましい指標だけでは退行を見逃す。
問題の要件では、正確性、漏れ、形式、安全性、遅延、費用など複数の指標を見るが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り最も短い出力を常に最高品質と判定する
重要情報の欠落や誤りを評価できない。
重要情報の欠落や誤りを評価できない。
問題の要件では、最も短い出力を常に最高品質と判定するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤りプロンプト変更後に評価データを差し替える
比較可能性と再現性が失われる。
比較可能性と再現性が失われる。
問題の要件では、プロンプト変更後に評価データを差し替えるが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01ガイドDomain 2.3・3.3のプロンプト評価と品質指標を確認する。期待される結果
固定評価セットと多面的評価の必要性を説明できる。理解のポイント
- 固定セット
- 前後比較
- 多面的評価
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
評価セット
代表例、境界例、危険入力などを固定して変更前後を比較する入力集合。
退行
変更後に、以前満たしていた品質や安全要件が悪化すること。
問題IDAWS-AIF-118
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告