1.3標準
要約APIの応答が遅く、同時利用者も増えている。
性能目標を整理する。
測定として適切なものを2つ選べ。
× 不正解
AI性能は平均だけでなくp95・p99、タイムアウト・エラー率、同時実行・キュー・トークン・スループットを費用と合わせて測る。
詳細解説
正しいp50・p95・p99レイテンシ、タイムアウト、エラー率を利用者影響と合わせて測る
長い尾の遅延を把握できる。
長い尾の遅延を把握できる。
問題の要件では、p50・p95・p99レイテンシ、タイムアウト、エラー率を利用者影響と合わせて測るが解決する範囲と、別の工程が担う範囲を分けて判断する。
正しい同時実行数、キュー長、トークン数、スループットを費用とともに確認する
ボトルネックを特定できる。
ボトルネックを特定できる。
問題の要件では、同時実行数、キュー長、トークン数、スループットを費用とともに確認するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り平均レイテンシだけを見て全利用者の体感を判断する
長い遅延を隠す。
長い遅延を隠す。
問題の要件では、平均レイテンシだけを見て全利用者の体感を判断するが解決する範囲と、別の工程が担う範囲を分けて判断する。
誤り同時実行を無制限に増やせばレイテンシは必ず下がる
クォータや競合がある。
クォータや競合がある。
問題の要件では、同時実行を無制限に増やせばレイテンシは必ず下がるが解決する範囲と、別の工程が担う範囲を分けて判断する。
実際に確かめる
一時的な検証環境で実行できる例です。
AWS公式AIF-C01 Domain 1.3・3.3のレイテンシ、スループット、同時実行を確認する。期待される結果
尾部レイテンシと処理量・費用のトレードオフを測定できる。理解のポイント
- p95
- スループット
- 同時実行
確認時の注意
- 確認環境: AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
- AWS公式ドキュメントで、対象サービスが提供する機能と前提条件を確認する。
- モデル、データ、アプリケーション、利用者の責任分界を混同しない。
基礎のおさらい
p95レイテンシ
全リクエストの95%が収まる遅延値。
スループット
一定時間あたりに処理できるリクエストやトークンの量。
問題IDAWS-AIF-437
確認環境AWS公式AIF-C01試験ガイドとAWS公式ドキュメントの確認
最終技術確認2026-08-20
誤り・権利侵害を報告