3.4標準
社内文書への回答が流暢だが誤ることがある。
根拠のない主張を測定する。
評価として適切なものを2つ選べ。
× 不正解
幻覚評価では回答を主張へ分解し根拠・欠落・矛盾を確認する。曖昧さや反対証拠など失敗しやすいケースも含める。
詳細解説
正しい代表質問について主張を分解し、根拠文書との一致・欠落・矛盾を確認する
事実性を主張単位で測れる。
事実性を主張単位で測れる。
問題の要件では、代表質問について主張を分解し、根拠文書との一致・欠落・矛盾を確認するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい検索根拠なし、曖昧な質問、反対証拠、更新文書などのケースを含める
幻覚が発生しやすい条件を評価できる。
幻覚が発生しやすい条件を評価できる。
問題の要件では、検索根拠なし、曖昧な質問、反対証拠、更新文書などのケースを含めるが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り文章が自然なら事実として受け入れる
流暢さは正確さを保証しない。
流暢さは正確さを保証しない。
問題の要件では、文章が自然なら事実として受け入れるが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り平均スコアだけで重大な誤回答を無視する
高影響な個別失敗が隠れる。
高影響な個別失敗が隠れる。
問題の要件では、平均スコアだけで重大な誤回答を無視するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 3.4の生成品質、グラウンディング、幻覚評価を確認する。期待される結果
流暢さと事実性を分け、根拠のない主張をケース別に評価できる。理解のポイント
- 幻覚
- 事実性
- 主張
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
幻覚
根拠がない、または誤った内容をもっともらしく生成する現象。
事実性評価
生成された主張が信頼できる根拠と一致するかを測る評価。
問題IDAWS-AIF-342
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告