1.3標準
少数データでモデルを比較する。
前処理や重複データが評価を汚染しないようにする。
評価設計として適切なものを2つ選べ。
× 不正解
交差検証では前処理を訓練フォールド内で学習し、同一対象や重複記録が分割をまたがないようにして評価リーケージを防ぐ。
詳細解説
正しい各訓練フォールド内で前処理の統計量を計算する
全データで計算した平均やスケールを検証フォールドへ漏らさずに済む。
全データで計算した平均やスケールを検証フォールドへ漏らさずに済む。
問題の要件では、各訓練フォールド内で前処理の統計量を計算するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい同じ顧客やほぼ同じ記録が訓練と検証へ分かれないようにする
重複した対象が両方へ入ると、未知データ性能を過大評価する。
重複した対象が両方へ入ると、未知データ性能を過大評価する。
問題の要件では、同じ顧客やほぼ同じ記録が訓練と検証へ分かれないようにするが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り全データで標準化してからフォールドへ分割する
検証データの情報が前処理へ入るためリーケージになり得る。
検証データの情報が前処理へ入るためリーケージになり得る。
問題の要件では、全データで標準化してからフォールドへ分割するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り検証スコアが高ければ分割方法を記録しない
再現性と評価の信頼性を確認できなくなる。
再現性と評価の信頼性を確認できなくなる。
問題の要件では、検証スコアが高ければ分割方法を記録しないが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01ガイドDomain 1.3のデータ分割、前処理、リーケージを確認する。期待される結果
交差検証で前処理と重複を管理する理由を説明できる。理解のポイント
- 交差検証
- 前処理
- 重複
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
交差検証
データを複数のフォールドに分け、訓練と検証の組を入れ替えて性能を評価する方法。
評価リーケージ
本来評価に使う情報が学習や前処理へ混入し、性能が過大に見える状態。
問題IDAWS-AIF-112
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告