3.3標準
翻訳・要約の出力を自動比較する。
参照文と異なるが正しい表現を不当に低く評価しない。
説明として適切なものを2つ選べ。
× 不正解
n-gram一致などの自動指標は語句の重なりを測る補助情報であり、意味・事実・安全性は人手や別指標と併用して評価する。
詳細解説
正しい参照文とのn-gram一致指標は、語句の重なりを測る一つの情報である
表現の一致度を機械的に比較できるが、意味全体を保証しない。
表現の一致度を機械的に比較できるが、意味全体を保証しない。
問題の要件では、参照文とのn-gram一致指標は、語句の重なりを測る一つの情報であるが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい人手による意味・事実・安全性の確認を併用する
参照文と異なる正しい表現や文脈を評価できる。
参照文と異なる正しい表現や文脈を評価できる。
問題の要件では、人手による意味・事実・安全性の確認を併用するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り参照文と違う表現は必ず誤りである
同じ意味を異なる表現で表せる。
同じ意味を異なる表現で表せる。
問題の要件では、参照文と違う表現は必ず誤りであるが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り一つの自動指標だけで品質・法令適合を断定する
指標の盲点と業務影響を確認する必要がある。
指標の盲点と業務影響を確認する必要がある。
問題の要件では、一つの自動指標だけで品質・法令適合を断定するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 3.3の生成AI評価指標と人手評価を確認する。期待される結果
自動指標の有用性と、意味・安全性を保証しない限界を説明できる。理解のポイント
- 自動指標
- 意味
- 人手評価
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
n-gram一致指標
生成文と参照文の連続語句の重なりを数える自動評価の一種。
意味評価
語句の一致だけでなく、内容の正確性・十分性・文脈を確認する評価。
問題IDAWS-AIF-166
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告