1.1基礎
多言語チャットの入力長と費用を見積もる。
文字数とトークン数が一致しない理由を説明する。
説明として正しいものを2つ選べ。
× 不正解
トークンはモデルの処理単位であり、言語・記号・トークナイザーによって文字数との対応が変わる。
詳細解説
正しいトークンはモデルが処理する単語・部分語・記号などの単位である
文字列をモデル内部の処理単位へ分ける。
文字列をモデル内部の処理単位へ分ける。
問題の要件では、トークンはモデルが処理する単語・部分語・記号などの単位であるが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい言語や記号の種類によって、同じ文字数でもトークン数が変わる
入力長、遅延、費用が変わり得る。
入力長、遅延、費用が変わり得る。
問題の要件では、言語や記号の種類によって、同じ文字数でもトークン数が変わるが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り文字数を2で割れば常にトークン数になる
トークナイザーや言語によって規則が異なる。
トークナイザーや言語によって規則が異なる。
問題の要件では、文字数を2で割れば常にトークン数になるが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤りトークン化はモデルの出力安全性を自動保証する
長さの処理と安全制御は別の仕組みである。
長さの処理と安全制御は別の仕組みである。
問題の要件では、トークン化はモデルの出力安全性を自動保証するが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 1.1のトークン、コンテキスト、生成AI料金を確認する。期待される結果
文字数・トークン数・費用・コンテキスト上限の関係を説明できる。理解のポイント
- トークン
- 多言語
- 費用
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
トークン
モデルが入力・出力を処理する単語、部分語、記号などの単位。
トークナイザー
文字列をモデルが扱うトークン列へ変換する仕組み。
問題IDAWS-AIF-233
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告