3.1標準
検索結果の上位文書だけを生成へ渡す。
根拠の取りこぼしとトークン費用を調整する。
評価として適切なものを2つ選べ。
× 不正解
top-kは再現率・根拠精度・重複・トークン費用のトレードオフで評価し、権限フィルター後の重要文書も確認する。
詳細解説
正しい異なるtop-kで再現率、根拠精度、重複、トークン量を比較する
取得範囲と費用の関係を測れる。
取得範囲と費用の関係を測れる。
問題の要件では、異なるtop-kで再現率、根拠精度、重複、トークン量を比較するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい重要な文書が上位にないケースや権限フィルター後の結果を評価する
順位とアクセス制御の両方を確認できる。
順位とアクセス制御の両方を確認できる。
問題の要件では、重要な文書が上位にないケースや権限フィルター後の結果を評価するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤りkを大きくすれば必ず回答品質が上がる
ノイズとコストも増える。
ノイズとコストも増える。
問題の要件では、kを大きくすれば必ず回答品質が上がるが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り上位1件だけを見て検索性能を判断する
取りこぼしや多様性を測れない。
取りこぼしや多様性を測れない。
問題の要件では、上位1件だけを見て検索性能を判断するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 3.1の検索評価、top-k、RAGコストを確認する。期待される結果
取得件数を品質・費用・認可の観点で調整できる。理解のポイント
- top-k
- 再現率
- ノイズ
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
top-k
検索結果から上位k件だけを次の処理へ渡す設定。
再現率
関連する候補をどれだけ取りこぼさず取得できたかの割合。
問題IDAWS-AIF-352
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告