vLLM

LLM運用の遅延とコストを評価するTTFT（初回生成時間）とTPOT（トークン生成速度）の解説。Pythonによるストリーミング測定スクリプト、主要モデルのトークン単価比較、月間1万回利用時のROI試算を整理します。