チャンク分割を調整する

前後の文脈を残しつつ重複による検索ノイズを測れる。

前後の文脈を残しつつ重複による検索ノイズを測れる。

問題の要件では、見出し・段落・表など意味の境界を保ち、適度な重複を比較するが解決する範囲と、別の工程が担う範囲を分けて判断する。

分割方法が品質と費用へ与える影響を確認できる。

分割方法が品質と費用へ与える影響を確認できる。

問題の要件では、代表的な質問で検索再現率、回答根拠、トークン費用を評価するが解決する範囲と、別の工程が担う範囲を分けて判断する。