生成AIアプリを監視する

利用者体験、可用性、コストの変化を把握できる。

利用者体験、可用性、コストの変化を把握できる。

問題の要件では、レイテンシ、エラー率、入力・出力トークンを記録するが解決する範囲と、別の工程が担う範囲を分けて判断する。

モデルやプロンプトの変更後に、出力品質の退行を検出できる。

モデルやプロンプトの変更後に、出力品質の退行を検出できる。

問題の要件では、評価用サンプルを定期実行し、品質・安全性の指標を追跡するが解決する範囲と、別の工程が担う範囲を分けて判断する。