モデルをレイテンシ要件で選ぶ

平均値だけでなく、遅いリクエストの割合を要件と比較できる。

平均値だけでなく、遅いリクエストの割合を要件と比較できる。

問題の要件では、代表的な入力で p95 レイテンシとタイムアウト率を測るが解決する範囲と、別の工程が担う範囲を分けて判断する。

要件を満たす範囲でモデル規模・出力長を抑えると応答を改善できる。

要件を満たす範囲でモデル規模・出力長を抑えると応答を改善できる。

問題の要件では、必要品質を満たす小さなモデルや短い出力を候補にするが解決する範囲と、別の工程が担う範囲を分けて判断する。