生成AI評価用の正解データを用意する

自己生成結果だけでは正確性や安全性の基準にならない。

自己生成結果だけでは正確性や安全性の基準にならない。

問題の要件では、モデルが生成した回答だけを正解として採用するが解決する範囲と、別の工程が担う範囲を分けて判断する。

実運用の多様な質問、境界条件、拒否すべき入力を代表できない。

実運用の多様な質問、境界条件、拒否すべき入力を代表できない。

問題の要件では、最も簡単な質問を1問だけ繰り返すが解決する範囲と、別の工程が担う範囲を分けて判断する。

品質や安全性の回帰を検出できず、利用者への影響が大きくなる。

品質や安全性の回帰を検出できず、利用者への影響が大きくなる。

問題の要件では、評価結果を見ずに本番へ切り替えるが解決する範囲と、別の工程が担う範囲を分けて判断する。