需要予測モデルを本番運用している。
季節や顧客行動の変化によって予測品質が低下していないか確認する。
本番モデルの継続監視として適切なものを2つ選べ。
本番では入力分布、予測品質、遅延、エラー、コストなどを監視し、ドリフトや運用異常を検知する。
詳細解説
需要予測では、対応する実績が得られた後にMAEなどの誤差を継続確認できる。
需要予測は数値を扱うため、ここでは実績とのMAEなどの誤差が品質の根拠となる。予測10・14個と対応する実績12・10個なら、絶対誤差は2・4個、MAEは3個となる。実績は正しい商品・予測期間へ対応付ける。
モデルの予測を正解扱いすると、実際の予測誤差を評価できない。
予測値をそのまま実績として比較すれば誤差は見かけ上ゼロになるが、予測が正しかった根拠にはならない。実績がまだない場合は未評価とし、確定した観測値が得られてから照合する。
入力の変化は再評価のきっかけであり、実績に基づく誤差の悪化を単独では証明しない。
データドリフトの検知は、以前と条件が違う可能性を示す。実績のある期間で性能を再評価し、季節性やデータ処理の変更も調べてから対応を選ぶ。兆候の検知と性能低下の確定は別の判断となる。
入力分布の変化はデータドリフトの兆候となり、モデル再評価のきっかけになる。
季節によって商品構成や需要の大きさが変わることがある。比較する期間や商品構成を記録し、想定された季節変動か、欠損や単位変更などの問題かを調べる。分布の変化だけで性能低下や即時の再学習を確定しない。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
Task 1.3のモデル監視・再学習と、公式のデータ品質/モデル品質の違いを確認する。仮想の同じ予測期間で予測10・14個、対応する実績12・10個だった場合のMAEを求め、実績到着前に確認できる入力分布と分けて記録する。
参考にした公式資料
確認できる内容
絶対誤差2・4個の平均からMAEは3個となる。入力分布の変化は再評価の兆候であり、実績と照合した誤差の悪化を単独では証明しないと説明できる。
理解のポイント
- データドリフト
- 予測性能
- 継続監視
確認時の注意
- 確認環境: 公式資料と仮想の計算例による参照確認。AWSリソースの作成、推論の実行、実利用者データの取得は不要。
- 数値は説明用の仮想例で、実モデルの性能測定ではない。MAEを期間で比較するときも、対象商品の構成・予測期間・単位が違えば、その差を確認する。
- ラベル未到着と誤予測を混同しない。到着済みの例だけに偏った評価や、到着順による誤った結合を避け、対象期間と評価できた件数を示す。
- 参照したSageMaker Model Monitorの公式資料には、新規顧客への提供を終了し既存顧客は継続利用できると記載されている（2026-10-28確認）。監視の原理を学ぶ問題であり、新規アカウントで同サービスを必ず有効化できるという意味ではない。
基礎のおさらい
入力変化と品質低下
データドリフトは入力分布の変化を表す。変化があっても性能が必ず低下するとは限らず、変化が小さくても実績との関係が変わる場合がある。
需要予測の誤差と対応付け
予測した商品・対象期間と実績を対応付けて誤差を計算する。MAEは絶対誤差の平均であり、ここでは需要の個数と同じ単位になる。
実績到着までの待ち時間
予測対象の期間が終わるまでは実績が確定しない場合がある。入力や欠損の監視を先に行えても、実績未確定の予測性能は未評価として区別する。