2.3標準
監査のため、同じ入力から結果を比較したい。
生成の揺らぎを管理する。
設計として適切なものを2つ選べ。
× 不正解
生成結果の比較にはモデル版・プロンプト・サンプリング設定・入力・ツール結果を記録し、固定評価セットで回帰テストする。
詳細解説
正しい低いランダム性と固定された評価セットで回帰テストを行う
変更による差を測れる。
誤り再現できない回答を成功例としてだけ保存する
監査と比較に使えない。
正しいモデル版、プロンプト、サンプリング設定、入力、ツール結果を記録する
比較条件を再現できる。
誤り同じモデル名なら提供者の版や設定を記録しなくてよい
実際の条件が変わり得る。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
AWS公式AIF-C01 Domain 2.3・3.4の生成再現性、評価、モデル版管理を確認する。
参考にした公式資料
確認できる内容
生成条件を保存して、変更前後の出力を再現・比較できる。
理解のポイント
- 再現性
- モデル版
- 回帰テスト
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
生成再現性
同じ条件を記録し、出力の差を追跡・比較できる性質。
回帰テスト
固定入力で変更前後の挙動を比較するテスト。
問題IDAWS-AIF-438
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告