3.2標準
社内FAQを検索して回答する。
検索結果が根拠として十分かを評価したい。
評価として適切なものを2つ選べ。
× 不正解
RAGは検索の再現・適合と、取得根拠に基づく生成を分けて評価し、代表・境界クエリで漏れと誤取得を確認する。
詳細解説
正しい質問に対して必要な根拠チャンクが上位に含まれるか確認する
取得漏れを検出し、検索の再現性を評価できる。
取得漏れを検出し、検索の再現性を評価できる。
問題の要件では、質問に対して必要な根拠チャンクが上位に含まれるか確認するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい取得文書に基づく回答か、根拠のない追加情報かを別に評価する
検索の正しさと生成の正しさを切り分けられる。
検索の正しさと生成の正しさを切り分けられる。
問題の要件では、取得文書に基づく回答か、根拠のない追加情報かを別に評価するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り回答が流暢なら検索結果を確認しない
流暢さだけでは根拠の妥当性を保証しない。
流暢さだけでは根拠の妥当性を保証しない。
問題の要件では、回答が流暢なら検索結果を確認しないが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り正解文書を評価データから削除する
必要な根拠の取得性能を測れなくなる。
必要な根拠の取得性能を測れなくなる。
問題の要件では、正解文書を評価データから削除するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
Amazon Bedrock Knowledge Bases公式の検索評価とAIF-C01 Domain 3.2を確認する。期待される結果
検索品質と生成品質を分離して評価できる。理解のポイント
- 検索再現
- 適合
- 根拠
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
検索再現率
必要な関連文書・チャンクをどれだけ取得できたかの割合。
検索適合率
取得結果のうち、質問に関連する文書がどれだけ含まれるかの割合。
問題IDAWS-AIF-121
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告