RAGのチャンク境界を設計する

途中で手順や条件を切らず、検索結果が文脈を保ちやすくなる。

途中で手順や条件を切らず、検索結果が文脈を保ちやすくなる。

問題の要件では、見出しや段落など意味のまとまりを尊重して分割するが解決する範囲と、別の工程が担う範囲を分けて判断する。

小さすぎる・大きすぎる分割の品質と検索コストを比較できる。

小さすぎる・大きすぎる分割の品質と検索コストを比較できる。

問題の要件では、チャンクサイズと重複幅を代表クエリで評価するが解決する範囲と、別の工程が担う範囲を分けて判断する。