機械学習ライフサイクルの順序を整理する

目的と評価指標は開発前に決め、結果を判断できるようにする。

目的と評価指標は開発前に決め、結果を判断できるようにする。

問題の条件では、本番デプロイ後に初めて目的と評価指標を決めるが担う対象と、ほかの選択肢が担う対象を分けて考える。

評価データを混ぜるとデータリークが起こり、汎化性能を正しく測れない。

評価データを混ぜるとデータリークが起こり、汎化性能を正しく測れない。

問題の条件では、評価データを訓練データへ混ぜれば、未知データへの性能を測定できるが担う対象と、ほかの選択肢が担う対象を分けて考える。

本番データの変化やモデルドリフトを継続的に確認する必要がある。

本番データの変化やモデルドリフトを継続的に確認する必要がある。

問題の条件では、デプロイすればデータ分布の変化を監視する必要はないが担う対象と、ほかの選択肢が担う対象を分けて考える。