不正検知モデルの訓練データで、特定地域の取引だけ不正ラベルが大量に欠損している。
本番では地域による性能差を小さくしたい。
最初に行う対策として最も適切なものはどれか。
欠損は件数だけでなく分布と原因を確認し、補完・除外・再収集を性能と公平性の観点で決める必要がある。
詳細解説
欠損が特定地域に偏る場合、機械的に削除せず、原因とモデルへの影響を評価して処理方針を決める。
欠損が特定地域に偏る場合、機械的に削除せず、原因とモデルへの影響を評価して処理方針を決める。
問題の要件では、欠損の分布と原因を調査し、補完・除外・追加収集の方針を決めるが解決する範囲と、別の工程が担う範囲を分けて判断する。
一律の値で埋めるとラベルの偏りを固定化し、誤検知や見逃しを増やす可能性がある。
一律の値で埋めるとラベルの偏りを固定化し、誤検知や見逃しを増やす可能性がある。
問題の要件では、欠損ラベルをすべて正常取引として埋めるが解決する範囲と、別の工程が担う範囲を分けて判断する。
重要な地域の代表データを失い、別の偏りを作る可能性がある。
重要な地域の代表データを失い、別の偏りを作る可能性がある。
問題の要件では、欠損がある行を確認せず全件削除するが解決する範囲と、別の工程が担う範囲を分けて判断する。
温度は生成モデルの出力ランダム性に関する設定で、訓練ラベルの欠損は解決しない。
温度は生成モデルの出力ランダム性に関する設定で、訓練ラベルの欠損は解決しない。
問題の要件では、モデルの温度パラメータを変更するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01ガイドのDomain 1.3でデータ品質、代表性、前処理の説明を確認する。期待される結果
欠損処理を原因・分布・性能影響の評価と結び付けて説明できる。理解のポイント
- 欠損の偏り
- データ代表性
- 処理方針の比較
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
代表性
訓練データが本番で扱う集団や条件をどの程度表しているか。
データ品質
完全性、正確性、一貫性、適時性など、モデル入力としての適合度。