3.3標準
メール草案の品質を測る。
自動指標だけでは文脈や安全性を捉えにくい。
評価設計として適切なものを2つ選べ。
× 不正解
生成品質は、機械的な形式・安全検査と、人手による文脈・有用性・影響評価を組み合わせ、基準と評価者を管理する。
詳細解説
正しい形式・長さ・禁止語など機械的に判定できる条件を自動検査する
大量の出力を一貫したルールで効率よく確認できる。
大量の出力を一貫したルールで効率よく確認できる。
問題の要件では、形式・長さ・禁止語など機械的に判定できる条件を自動検査するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい代表的な出力を人が正確性、役立ちやすさ、安全性の観点で確認する
文脈や曖昧な品質を人手で補完できる。
文脈や曖昧な品質を人手で補完できる。
問題の要件では、代表的な出力を人が正確性、役立ちやすさ、安全性の観点で確認するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り自動スコアだけで法令適合を断定する
法令・業務影響の判断には専門家や方針確認も必要である。
法令・業務影響の判断には専門家や方針確認も必要である。
問題の要件では、自動スコアだけで法令適合を断定するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り人手評価者へ評価基準を示さない
評価のばらつきと再現性が悪化する。
評価のばらつきと再現性が悪化する。
問題の要件では、人手評価者へ評価基準を示さないが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01ガイドDomain 3.3の生成AI評価とResponsible AIを確認する。期待される結果
自動評価と人手評価の役割分担を説明できる。理解のポイント
- 自動検査
- 人手評価
- 評価基準
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
自動評価
形式、禁止語、正解一致など、一定の規則で大量に測る評価。
人手評価
文脈、自然さ、有用性、安全性、影響などを人が基準に沿って判断する評価。
問題IDAWS-AIF-123
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告