レイテンシ要件でモデルを比較する

対話の応答時間と同時実行数を満たすか、実際の代表プロンプトで測定する。

対話の応答時間と同時実行数を満たすか、実際の代表プロンプトで測定する。

問題の要件では、想定入力・出力に対するレイテンシとスループットが解決する範囲と、別の工程が担う範囲を分けて判断する。

大量利用では単価とトークン量が運用コストへ直結する。

大量利用では単価とトークン量が運用コストへ直結する。

問題の要件では、1リクエストあたりの推論コストが解決する範囲と、別の工程が担う範囲を分けて判断する。