2.2基礎
長い日本語文書をモデルへ渡す。
文字数とトークン数が同じではないことを考慮する。
説明として正しいものを2つ選べ。
× 不正解
モデルはトークン単位で処理し、文字数とトークン数は一致しない。長文はコンテキスト上限を確認し、分割や検索などで扱う。
詳細解説
正しいモデルは入力をトークンという単位へ分割して処理する
単語、部分語、文字などの単位はモデルや言語によって異なる。
正しい入力がコンテキスト上限を超える場合、分割・要約・検索などを検討する
上限を超えた入力はそのまま処理できないため、設計上の対策が必要である。
誤り入力を長くすれば上限を超えても結果は同じになる
上限超過や切り捨てで情報が失われる可能性がある。
誤り日本語の文字数は必ずトークン数と一致する
トークナイザーの規則により対応は変わる。
公式資料で確認する
以下の項目を公式資料の記述と照合して確認します。
Amazon Bedrock公式モデル仕様とAIF-C01 Domain 2.2のトークン・コンテキスト制限を確認する。
参考にした公式資料
確認できる内容
トークン化、コンテキスト上限、長文対策を説明できる。
理解のポイント
- トークン
- コンテキスト
- 長文分割
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
トークン
モデルが入力・出力を処理するために分割した単位。
コンテキストウィンドウ
一度の推論でモデルが参照できる入力と出力のトークン範囲。
問題IDAWS-AIF-099
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告