2.3標準
監査のため、同じ入力から結果を比較したい。
生成の揺らぎを管理する。
設計として適切なものを2つ選べ。
× 不正解
生成結果の比較にはモデル版・プロンプト・サンプリング設定・入力・ツール結果を記録し、固定評価セットで回帰テストする。
詳細解説
正しいモデル版、プロンプト、サンプリング設定、入力、ツール結果を記録する
比較条件を再現できる。
比較条件を再現できる。
問題の要件では、モデル版、プロンプト、サンプリング設定、入力、ツール結果を記録するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい低いランダム性と固定された評価セットで回帰テストを行う
変更による差を測れる。
変更による差を測れる。
問題の要件では、低いランダム性と固定された評価セットで回帰テストを行うが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り同じモデル名なら提供者の版や設定を記録しなくてよい
実際の条件が変わり得る。
実際の条件が変わり得る。
問題の要件では、同じモデル名なら提供者の版や設定を記録しなくてよいが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り再現できない回答を成功例としてだけ保存する
監査と比較に使えない。
監査と比較に使えない。
問題の要件では、再現できない回答を成功例としてだけ保存するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 2.3・3.4の生成再現性、評価、モデル版管理を確認する。期待される結果
生成条件を保存して、変更前後の出力を再現・比較できる。理解のポイント
- 再現性
- モデル版
- 回帰テスト
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
生成再現性
同じ条件を記録し、出力の差を追跡・比較できる性質。
回帰テスト
固定入力で変更前後の挙動を比較するテスト。
問題IDAWS-AIF-438
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告