画像分類モデルの性能を測定する。
訓練に使った画像をそのまま評価に使うと、未知データへの性能を確認できない。
評価用データを分離する主な理由はどれか。
訓練に使っていない検証・テストデータを用いることで、未知データに対する汎化性能を測定できる。
詳細解説
訓練に使っていないデータで評価することで、モデルが新しい入力へ適用できるかを確認する。
訓練に使っていないデータで評価することで、モデルが新しい入力へ適用できるかを確認する。
問題の要件では、未知データに対する汎化性能を測るためが解決する範囲と、別の工程が担う範囲を分けて判断する。
分割比率は目的やデータ量で決まり、保存容量を半分にすることが目的ではない。
分割比率は目的やデータ量で決まり、保存容量を半分にすることが目的ではない。
問題の要件では、訓練データの保存容量を必ず半分にするためが解決する範囲と、別の工程が担う範囲を分けて判断する。
データ分割は評価設計であり、推論時のネットワーク帯域を増やす機能ではない。
データ分割は評価設計であり、推論時のネットワーク帯域を増やす機能ではない。
問題の要件では、モデルの推論時にネットワーク帯域を増やすためが解決する範囲と、別の工程が担う範囲を分けて判断する。
評価データにも正解ラベルが必要であり、分割自体がラベルを生成するわけではない。
評価データにも正解ラベルが必要であり、分割自体がラベルを生成するわけではない。
問題の要件では、正解ラベルを評価時に自動生成するためが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01ガイドのDomain 1.3で訓練・検証・テストの役割を確認する。期待される結果
訓練データの再現ではなく、未知データへの性能を測る目的を説明できる。理解のポイント
- 汎化性能
- データ分割
- 過学習検出
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
汎化
訓練で見ていないデータに対しても適切な予測をする能力。
過学習
訓練データには高精度だが、未知データでは性能が低下する状態。