長い規程をベクトル検索へ登録する。
質問に関連する節だけをモデルへ渡し、入力上限と無関係な文脈を減らしたい。
文書をチャンクへ分割する主な目的はどれか。
チャンク化は検索単位とモデルへ渡すコンテキストを制御するために行う。チャンクサイズやオーバーラップは文書構造と検索品質で調整する。
詳細解説
適切な大きさに分割すると、検索結果が質問へ近い節になり、入力トークンも抑えやすい。
適切な大きさに分割すると、検索結果が質問へ近い節になり、入力トークンも抑えやすい。
問題の要件では、検索の単位を細かくし、関連部分をコンテキストへ効率よく渡すが解決する範囲と、別の工程が担う範囲を分けて判断する。
分割は検索単位の設計であり、内容の正確性や更新を保証するものではない。
分割は検索単位の設計であり、内容の正確性や更新を保証するものではない。
問題の要件では、分割しただけで文書の正確性を自動的に保証するが解決する範囲と、別の工程が担う範囲を分けて判断する。
チャンク化と公開可否は別のセキュリティ設計である。
チャンク化と公開可否は別のセキュリティ設計である。
問題の要件では、すべての文書を暗号化せずに公開するが解決する範囲と、別の工程が担う範囲を分けて判断する。
文書分割は入力データ処理であり、モデルのパラメータを変更しない。
文書分割は入力データ処理であり、モデルのパラメータを変更しない。
問題の要件では、モデルのパラメータ数を増やすが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
Amazon Bedrock Knowledge Bases公式ドキュメントのデータソース取り込み・チャンキング設定を確認する。期待される結果
分割が検索精度、コンテキスト量、関連箇所の取得に関係することを説明できる。理解のポイント
- チャンク
- 検索単位
- コンテキスト量
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
チャンク
検索や埋め込みの単位となる文書の部分。
オーバーラップ
隣接チャンクに共通部分を持たせ、境界で文脈が切れる影響を抑える方法。