ローン審査モデルの本番データ分布が、学習時と変わり始めた。
再学習が必要か判断したい。
監視として適切なものを2つ選べ。
データドリフトは入力分布の変化であり、特徴量分布と期間・群別の性能を継続監視して再評価のきっかけを作る。
詳細解説
出力だけでは潜在的な分布変化を見逃す可能性がある。
同じ予測クラスが出続けても、その入力の構成や予測の誤り方は変わり得る。出力の安定だけを理由に入力監視を止めず、入力の変化と確定結果との照合を別々に確認する。
分布変化が実際の予測品質やグループ別影響に現れていないか確認できる。
予測と独立した確定結果を対応付け、期間と対象群ごとの品質を件数付きで比較する。全体の一致率が同じでも群別の差は隠れ得る。ラベルの到着が遅い例や、結果が観測できない例は評価範囲から分けて記録する。
全体集計では特定の群の低下が隠れ得るため、対象群ごとの件数と性能も確認する。
全体の正解率が維持されても、一部の対象群の低下が別の群の上昇で相殺されることがある。群別の件数・定義・結果が観測できた範囲を確認する。正解率一つで、群間の公平性まで保証されたとは判断しない。
入力分布の変化を検出することで、データドリフトの兆候を把握できる。
比較元の分布と同じ特徴量の本番分布を、同じ単位や前処理で比べる。構成比の変化に加え、欠損の増加や想定外の値も調べ、データ処理の問題と対象集団の変化を切り分ける。入力変化は再評価の兆候であり、それだけで性能低下を確定しない。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
Task 1.3のMLOpsと公式のデータ品質/モデル品質の説明を照合する。仮想の入力100件のカテゴリ比70/30と40/60を比較する。別の結果ラベル付き評価でA群/B群各100件の一致数90/90と95/85を比較し、全体と群別の一致率を計算する。
参考にした公式資料
確認できる内容
入力カテゴリ比の変化から予測品質を断定しない。ラベル付き例では全体90%は同じでも、B群の一致率は90%から85%へ変わると説明できる。評価できた件数と未確定結果を区別し、再学習を自動的な結論にしない。
理解のポイント
- 分布変化
- 性能監視
- 継続評価
確認時の注意
- 確認環境: 公式資料と仮想の集計例による参照確認。実際のローン審査、AWSリソース作成、モデル推論や利用者データ取得は行わない。
- 数値は説明用の仮想例であり、実モデルや顧客の測定結果ではない。正解率は一つの品質指標であり、業務への適合性や公平性全体を単独で証明しない。
- 結果ラベルが到着した例だけで評価すると対象が偏る場合がある。期間・群別の件数、観測できた範囲、未確定の結果を記録し、取得できない結果を推測で埋めない。
- 参照先のModel Monitorには新規顧客の受付終了の記載がある。この演習は監視概念の参照確認であり、サービスの新規導入やAWS操作を要求しない。
基礎のおさらい
入力分布と予測品質を分ける
説明用の仮想例として、基準100件の入力カテゴリが70件/30件、本番100件が40件/60件なら、構成比は70%/30%から40%/60%へ変わったと記録できる。この件数だけでは、モデルの予測が外れたかは分からない。
平均値の背後を確認する
別の仮想評価で、A群/B群がそれぞれ100件あり、基準時は各90件、本番では95件/85件で予測と確定結果が一致したとする。全体の一致率は両期間とも180/200=90%だが、B群は90%から85%へ変わる。集計対象の定義と件数を併記する。
警告から再学習までを分ける
分布変化を検知したら、欠損・単位・前処理の変更と、意図した対象集団の変化を確認する。結果ラベルがそろう期間で品質を再評価し、原因や影響に応じてデータ修正、追加調査、再学習などを検討する。