トークンとコンテキスト長を理解する

トークンは文字と一対一ではなく、言語や記号によって分割のされ方が異なる。

トークンは文字と一対一ではなく、言語や記号によって分割のされ方が異なる。

問題の要件では、文字数が少なければ必ずトークン数も同じになるが解決する範囲と、別の工程が担う範囲を分けて判断する。

上限超過の入力が自動的に保存・再利用されるとは限らない。

上限超過の入力が自動的に保存・再利用されるとは限らない。

問題の要件では、コンテキスト長を超えた入力は自動的に永続保存されるが解決する範囲と、別の工程が担う範囲を分けて判断する。

コンテキスト長はモデルの入力・出力能力に関する上限で、IAMポリシーとは別の概念である。

コンテキスト長はモデルの入力・出力能力に関する上限で、IAMポリシーとは別の概念である。

問題の要件では、コンテキスト長はIAMポリシーのサイズで決まるが解決する範囲と、別の工程が担う範囲を分けて判断する。