日本語・英語・少数言語で同じAI機能を提供する。
言語ごとの品質と安全性を測る。
評価として適切なものを2つ選べ。
多言語評価は言語ごとの代表質問・表記・専門語・拒否例を用意し、事実性・安全性・公平性・遅延・理解度を別々に比較する。
詳細解説
言語差を見落とす。
英語での成績は、その評価データと条件での根拠である。別言語の語彙・表記・文化的な文脈や安全フィルターの挙動まで保証しないため、対象言語でも評価が必要となる。
総合的な差を把握できる。
事実性・安全性・公平性・遅延・理解度は異なる観点なので、言語別に分けて報告する。モデルとプロンプトの版、課題の難しさ、採点基準を記録し、比較条件の差を言語の能力差と取り違えない。
言語固有の失敗を測れる。
同じ課題を比較できる採点基準を設けつつ、各言語で自然な質問、方言、表記揺れ、業務用語を含める。英語問題の直訳だけでは、その言語で起きる失敗を十分に含まない場合がある。禁止要求と正当な要求の両方で、拒否の適切さを確かめる。
影響を隠す。
仮に英語9/10、日本語8/10、別言語1/2が正解なら、全体は18/22で約81.8%だが、言語別は90%・80%・50%となる。全体だけでは差が隠れる。一方、2件の50%を安定した性能順位とは扱わず、代表例を増やして確認する。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
Task 3.4の評価方法、Task 4.1の集団別分析、Bedrockの評価とGuardrailsの対応言語を確認する。仮想の事実性テストで英語9/10、日本語8/10、別の対象言語1/2が正解だった場合を、言語別の正答率・件数と全体の正答率で表す。安全性や遅延は別の欄に分ける。
参考にした公式資料
確認できる内容
言語別は90%（10件）、80%（10件）、50%（2件）、全体は18/22で約81.8%になる。全体の値だけでは言語差が見えず、2件の結果だけで安定した優劣も断定できないと説明できる。
理解のポイント
- 多言語
- 表記差
- 言語別指標
確認時の注意
- 確認環境: 公式資料と仮想の集計例による参照確認。AWSリソースの作成、モデルの呼出し、利用者データの収集は不要。
- 数値例は説明用の仮想データであり、実際のモデル性能や全言語への保証ではない。正答率は同じ事実性テストの集計で、安全性や遅延との混合スコアではない。
- Guardrailsの言語対応はポリシーとティアで異なる。生成モデルが対象言語を扱えても全フィルターが有効とは限らず、使用する機能の公式対応表と対象言語の実例で確認する。
- 自動評価やLLMによる採点を使う場合も、評価者が対象言語と採点基準を扱えるか確認する。言語・文化・業務を理解する人による点検を組み合わせ、採点側の誤りをモデルの誤りと混同しない。
基礎のおさらい
言語別評価と全体集計
同じ種類の課題と採点基準で言語別の成績・件数を示し、全体集計と併記する。件数が多い言語の好成績で、件数が少ない言語の失敗が見えなくなることを防ぐ。
代表性と少数例の不確実性
方言・表記・専門語・自然な質問を含めることが代表性につながる。2件中1件の成功は観測値50%だが、少ない標本から実運用の性能や言語の固定的な優劣は断定できない。
適切な拒否と過剰な拒否
禁止された要求を止めることと、正当な要求まで拒むことを別々に評価する。拒否率が高いだけでは安全性や有用性が高いとは限らない。