1.2標準
顧客データを訓練・検証・テストへ分割する。
テスト結果を誇張したくない。
手順として適切なものを2つ選べ。
× 不正解
テストデータは最終評価用に隔離し、顧客・時系列の依存や未来情報を分割境界へ跨がせない。
詳細解説
正しいテストデータを最終評価までモデル選択に使わない
未知データでの性能を保てる。
未知データでの性能を保てる。
問題の要件では、テストデータを最終評価までモデル選択に使わないが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい顧客や時系列単位で分割し、同一主体や未来の情報を跨がせない
関連レコードの漏えいを防げる。
関連レコードの漏えいを防げる。
問題の要件では、顧客や時系列単位で分割し、同一主体や未来の情報を跨がせないが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤りテスト結果を見て特徴量や閾値を何度も調整する
テストへ適合して汎化性能が過大評価される。
テストへ適合して汎化性能が過大評価される。
問題の要件では、テスト結果を見て特徴量や閾値を何度も調整するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り未来の値を現在の予測特徴量へ含める
利用時に得られない情報が漏れる。
利用時に得られない情報が漏れる。
問題の要件では、未来の値を現在の予測特徴量へ含めるが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 1.2のデータ分割、リーケージ、評価を確認する。期待される結果
テストデータと未来情報の漏えいを避けた評価手順を説明できる。理解のポイント
- テスト分離
- リーケージ
- 時系列
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
データリーケージ
利用時には得られない情報が学習・評価へ混入すること。
ホールドアウトテスト
モデル選択から隔離して最後に一度評価するデータ。
問題IDAWS-AIF-315
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告