3.3標準
社内検索チャットが回答を誤る。
調査すると、回答生成より前に無関係な文書が取得されている。
最初に評価すべき項目はどれか。
× 不正解
RAGでは取得文書の関連性・網羅性・権限を先に評価し、その後に根拠を使った生成品質を評価する。
詳細解説
正しい質問に対して取得文書が関連しているか
取得段階の関連性が低いと、生成モデルへ正しい根拠が渡らない。
誤りUIのボタンの角丸だけ
見た目は検索結果の関連性を評価しない。
誤り検索結果をすべて削除する
削除は原因分析にならず、根拠付き回答を不可能にする。
誤りモデルの温度だけを最大にする
推論設定を変えても、無関係な文書の取得問題は解決しない。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
Amazon Bedrock Knowledge Bases公式の検索・取得結果と引用の説明を確認する。
参考にした公式資料
確認できる内容
取得段階と生成段階を分け、検索結果の関連性を評価する理由を説明できる。
理解のポイント
- 検索関連性
- 取得段階
- 生成段階との分離
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
検索関連性
クエリに対して、取得した文書が意味的・業務的にどれだけ適切か。
取得網羅性
正しい根拠候補を取りこぼさず取得できている程度。
問題IDAWS-AIF-045
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告