新モデルを影響なしで比較する

評価前に影響が発生する。

評価前に影響が発生する。

問題の要件では、新モデルの出力を即時に利用者へ返すが解決する範囲と、別の工程が担う範囲を分けて判断する。

本番分布や境界を反映しない。

本番分布や境界を反映しない。

問題の要件では、開発用の人工データだけで本番性能を保証するが解決する範囲と、別の工程が担う範囲を分けて判断する。

差の原因を特定できない。

差の原因を特定できない。

問題の要件では、新旧モデルの入力を変えて比較するが解決する範囲と、別の工程が担う範囲を分けて判断する。