多言語チャットの入力長と費用を見積もる。同じ内容を異なるモデルへ送る可能性があり、会話履歴やシステム指示も含めた、実際に送る入力を確認したい。
採用候補のモデルがトークン計数に対応するかを確認する。入力の計数と、まだ生成されていない出力の長さや実料金を区別する。
トークン化と見積もりの説明として適切なものを2つ選べ。
トークン数はモデルと入力に依存する。実際の入力を対応する方法で計数し、入力トークン・出力予算・料金条件を分けて見積もる。
詳細解説
トークンは単語や部分語、記号などの処理単位で、文字数や単語数との対応は一律ではない。モデルと言語を指定せず固定の比率で換算しない。
計数は指定モデルと入力に対応する。会話や指示の内容も反映した入力を確認し、生成される出力分やモデルの上限も別に検討する。
分割方法はモデルや表記に依存し、空白区切りの単語数と一致するとは限らない。
返る値は提供した入力の計数である。まだ生成されていない回答の実長や内容を確定する値ではない。
トークン数だけでは料金条件が決まらない。対象モデルと利用方式の現行料金を確認し、入力と出力など課金対象を分ける。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
現行AIF-C01 Task2.1のtokensと料金の項目、CountTokensのmodelId/input/inputTokensの説明を照合する。架空の多言語入力について、計数対象、会話履歴、出力予算、料金条件の確認欄を分ける。APIは呼び出さない。
参考にした公式資料
確認できる内容
文字数・単語数・入力トークン・出力トークンを区別できる。CountTokensを全モデル対応や出力実長の予言として扱わず、概念的な見積もりを実請求額と報告しない。
理解のポイント
- モデル別の分割
- 実際の入力
- 出力予算
- 料金条件
確認時の注意
- 確認環境: 現行AIF-C01の該当Taskと関連するAWS一次資料の確認。架空の例で概念を比較し、実モデルの訓練・推論は行わない。
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
文字数との固定比率を仮定しない
同じ文字数でも言語や記号の使い方で分割が変わり、同じ文字列でもモデルにより計数が異なり得る。「1単語=1トークン」のような一律の換算を見積もりの確定値にしない。
実際の入力を対応する方法で数える
短い本文だけを数えて、履歴や指示を含む全入力の計数と扱わない。CountTokensは指定モデルと互換性のある入力を対象にinputTokensを返す。利用可能なモデルや入力形式は公式資料で確認する。
入力計数と最終費用を分ける
入力の計数だけでは、生成される回答の実長や最終費用は確定しない。モデルの上限、出力予算、採用する料金方式の条件を別に確認し、価格の固定値を問題の前提にしない。