3.4標準
本番で回答の拒否率と誤りが増えた。
モデルの回帰か、利用者の入力分布変化かを切り分ける。
監視として適切なものを2つ選べ。
× 不正解
入力の分布・長さ・言語・命中率を時系列で監視し、固定評価セットと比較してモデル回帰と利用変化を分離する。
詳細解説
正しい入力カテゴリ、長さ、言語、検索命中率、拒否率を時系列で比較する
入力分布と品質変化の関係を調べられる。
入力分布と品質変化の関係を調べられる。
問題の要件では、入力カテゴリ、長さ、言語、検索命中率、拒否率を時系列で比較するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい固定評価セットを同じモデルで再実行し、モデル変更と本番変化を分離する
評価基準と実運用の差を切り分けられる。
評価基準と実運用の差を切り分けられる。
問題の要件では、固定評価セットを同じモデルで再実行し、モデル変更と本番変化を分離するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り出力品質だけを見て入力の記録を残さない
原因の切り分けができない。
原因の切り分けができない。
問題の要件では、出力品質だけを見て入力の記録を残さないが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り変化を検知したら直ちに全データで再学習する
原因と必要性を確認しない再学習は費用と新たな偏りを生む。
原因と必要性を確認しない再学習は費用と新たな偏りを生む。
問題の要件では、変化を検知したら直ちに全データで再学習するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 3.4の監視、ドリフト、モデル運用を確認する。期待される結果
本番入力の変化とモデル品質の変化を別の仮説として検証できる。理解のポイント
- 入力分布
- ドリフト
- 固定評価
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
データドリフト
本番入力の統計や分布が、評価・訓練時と変化すること。
時系列監視
指標を時間に沿って記録し、変化点や季節性を確認する方法。
問題IDAWS-AIF-216
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告