コンテキストウィンドウを設計する

入力を必要な情報へ絞ることで、上限とコストを抑えられる。

入力を必要な情報へ絞ることで、上限とコストを抑えられる。

問題の要件では、履歴を要約し、現在の質問に関係する文書だけを取得するが解決する範囲と、別の工程が担う範囲を分けて判断する。

切り捨て、再試行、利用者への案内などを事前に決められる。

切り捨て、再試行、利用者への案内などを事前に決められる。

問題の要件では、最大トークン長と出力上限を測定し、超過時の動作を定義するが解決する範囲と、別の工程が担う範囲を分けて判断する。