3.3標準
社内検索チャットが回答を誤る。
調査すると、回答生成より前に無関係な文書が取得されている。
最初に評価すべき項目はどれか。
× 不正解
RAGでは取得文書の関連性・網羅性・権限を先に評価し、その後に根拠を使った生成品質を評価する。
詳細解説
正しい質問に対して取得文書が関連しているか
取得段階の関連性が低いと、生成モデルへ正しい根拠が渡らない。
取得段階の関連性が低いと、生成モデルへ正しい根拠が渡らない。
問題の要件では、質問に対して取得文書が関連しているかが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤りUIのボタンの角丸だけ
見た目は検索結果の関連性を評価しない。
見た目は検索結果の関連性を評価しない。
問題の要件では、UIのボタンの角丸だけが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤りモデルの温度だけを最大にする
推論設定を変えても、無関係な文書の取得問題は解決しない。
推論設定を変えても、無関係な文書の取得問題は解決しない。
問題の要件では、モデルの温度だけを最大にするが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り検索結果をすべて削除する
削除は原因分析にならず、根拠付き回答を不可能にする。
削除は原因分析にならず、根拠付き回答を不可能にする。
問題の要件では、検索結果をすべて削除するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
Amazon Bedrock Knowledge Bases公式の検索・取得結果と引用の説明を確認する。期待される結果
取得段階と生成段階を分け、検索結果の関連性を評価する理由を説明できる。理解のポイント
- 検索関連性
- 取得段階
- 生成段階との分離
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
検索関連性
クエリに対して、取得した文書が意味的・業務的にどれだけ適切か。
取得網羅性
正しい根拠候補を取りこぼさず取得できている程度。
問題IDAWS-AIF-045
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告