1.3標準
不正取引は全件の0.1%しかない。
モデルの精度だけでは見逃しを評価できない。
対応として適切なものを2つ選べ。
× 不正解
不均衡データでは正解率だけでなく陽性の適合率・再現率などを使い、評価時のサンプリングと実運用の発生率を明示する。
詳細解説
正しい適合率・再現率・F1など陽性クラスの指標を併用する
多数派を当て続けるだけの高い正解率では見逃しを捉えられない。
多数派を当て続けるだけの高い正解率では見逃しを捉えられない。
問題の要件では、適合率・再現率・F1など陽性クラスの指標を併用するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい検証・テストでも実運用の発生率と評価目的を明示する
サンプリングした結果を本番性能と誤解しないためである。
サンプリングした結果を本番性能と誤解しないためである。
問題の要件では、検証・テストでも実運用の発生率と評価目的を明示するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り全件を正常と判定するモデルを高精度として採用する
不正を一件も検出できず、業務目的を満たさない。
不正を一件も検出できず、業務目的を満たさない。
問題の要件では、全件を正常と判定するモデルを高精度として採用するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り少数クラスを評価から削除する
最も重要な陽性の性能が分からなくなる。
最も重要な陽性の性能が分からなくなる。
問題の要件では、少数クラスを評価から削除するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01ガイドDomain 1.3の分類評価と不均衡データを確認する。期待される結果
多数派だけで高く見える正解率の限界を説明できる。理解のポイント
- 不均衡
- 適合率
- 再現率
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
クラス不均衡
クラスごとの件数に大きな偏りがあるデータ状態。
F1スコア
適合率と再現率の調和平均で、両方のバランスを評価する指標。
問題IDAWS-AIF-113
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告