3.1標準
検索結果の上位k件を生成へ渡す。
関連文書の取得性能を比較する。
評価として適切なものを2つ選べ。
× 不正解
Recall@kは上位k件に既知の関連文書が含まれる割合を測る。順位品質・根拠正確性・遅延・費用・認可も併せて確認する。
詳細解説
正しい各質問の既知の関連文書と上位k件を比較しRecall@kを算出する
取りこぼしを定量化できる。
取りこぼしを定量化できる。
問題の要件では、各質問の既知の関連文書と上位k件を比較しRecall@kを算出するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しいRecall@kだけでなく順位品質、根拠正確性、遅延、費用、認可を確認する
検索から生成までの影響を評価できる。
検索から生成までの影響を評価できる。
問題の要件では、Recall@kだけでなく順位品質、根拠正確性、遅延、費用、認可を確認するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤りRecall@kが高ければ上位の根拠が正しいと保証される
関連文書の順位や内容は別に評価する。
関連文書の順位や内容は別に評価する。
問題の要件では、Recall@kが高ければ上位の根拠が正しいと保証されるが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り質問ごとの正解根拠を定義せず平均を計算する
指標の意味が不明になる。
指標の意味が不明になる。
問題の要件では、質問ごとの正解根拠を定義せず平均を計算するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 3.1の検索評価、Recall@k、RAG品質を確認する。期待される結果
検索の取りこぼしと上位根拠の品質を分けて測定できる。理解のポイント
- Recall@k
- 関連文書
- 順位
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
Recall@k
検索上位k件の中に既知の関連結果が含まれる割合。
順位品質
関連性の高い結果が上位へ並んでいる度合い。
問題IDAWS-AIF-398
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告