1.2基礎
モデルを評価するため、顧客データを分割する。
未知データへの性能を測りたい。
手順として適切なものを2つ選べ。
× 不正解
テストデータは学習・調整から隔離し、分割単位や重複を確認して未知データへの性能を測る。訓練正解率だけでは不十分である。
詳細解説
正しいテストデータをモデル学習とハイパーパラメータ調整から隔離する
未知データ性能を測れる。
未知データ性能を測れる。
問題の要件では、テストデータをモデル学習とハイパーパラメータ調整から隔離するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい分割前に重複・時系列・同一顧客の漏れを確認する
評価への情報漏洩を防げる。
評価への情報漏洩を防げる。
問題の要件では、分割前に重複・時系列・同一顧客の漏れを確認するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤りテスト結果を見ながら何度も設定を選び、その同じ結果を最終報告する
テストが調整データになる。
テストが調整データになる。
問題の要件では、テスト結果を見ながら何度も設定を選び、その同じ結果を最終報告するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り訓練データの正解率だけで本番性能を判断する
過学習を検出できない。
過学習を検出できない。
問題の要件では、訓練データの正解率だけで本番性能を判断するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 1.2の訓練・検証・テスト分割、データ漏洩を確認する。期待される結果
評価データを調整に再利用せず、分割単位の漏洩も確認できる。理解のポイント
- テストデータ
- データ漏洩
- 未知データ
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
データ漏洩
評価時点で本来見えない情報が学習や調整へ混入すること。
テストデータ
最終的な未知データ性能を測るために隔離したデータ。
問題IDAWS-AIF-414
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告