トークン化と入力長を考える

単語、部分語、文字などの単位はモデルや言語によって異なる。

単語、部分語、文字などの単位はモデルや言語によって異なる。

問題の要件では、モデルは入力をトークンという単位へ分割して処理するが解決する範囲と、別の工程が担う範囲を分けて判断する。

上限を超えた入力はそのまま処理できないため、設計上の対策が必要である。

上限を超えた入力はそのまま処理できないため、設計上の対策が必要である。

問題の要件では、入力がコンテキスト上限を超える場合、分割・要約・検索などを検討するが解決する範囲と、別の工程が担う範囲を分けて判断する。