2.1標準
日本語と英語を含む長文をモデルへ入力する。
トークン数と品質を比較する。
評価として適切なものを2つ選べ。
× 不正解
トークナイザーは言語ごとのトークン数、文脈長、費用、遅延、意味保持へ影響するため代表入力で評価する。
詳細解説
正しい言語・文字種ごとのトークン数、文脈長、費用、遅延を測定する
入力長と運用コストの差を把握できる。
入力長と運用コストの差を把握できる。
問題の要件では、言語・文字種ごとのトークン数、文脈長、費用、遅延を測定するが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい代表的な日本語・英語・混在ケースで意味保持と分割の品質を確認する
言語別の能力差を検出できる。
言語別の能力差を検出できる。
問題の要件では、代表的な日本語・英語・混在ケースで意味保持と分割の品質を確認するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り文字数とトークン数は全言語で同じと仮定する
言語やトークナイザーにより異なる。
言語やトークナイザーにより異なる。
問題の要件では、文字数とトークン数は全言語で同じと仮定するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤りトークン数が少ないモデルなら品質評価は不要である
圧縮と意味品質は別の要素である。
圧縮と意味品質は別の要素である。
問題の要件では、トークン数が少ないモデルなら品質評価は不要であるが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 2.1のトークン、文脈長、基盤モデル能力を確認する。期待される結果
文字数だけでなくトークン化が費用・長さ・品質へ与える影響を説明できる。理解のポイント
- トークン
- 文脈長
- 言語差
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
トークン
モデルが入力・出力を処理する分割単位。
トークナイザー
文字列をモデルのトークン列へ変換する仕組み。
問題IDAWS-AIF-336
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告