01 详细解释
它和单个用户感受到的 TPS 不是一回事:吞吐是服务端总量,会随并发数、批处理大小、序列长度变化;TPS 是某一次请求的体验。批处理能显著提高吞吐,却可能让单请求的 TTFT 变长。
做容量规划看吞吐,做交互体验看 TTFT + TPS,两个指标经常要权衡。
单位时间内系统总共吐出多少 token,衡量的是整体产能。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
它和单个用户感受到的 TPS 不是一回事:吞吐是服务端总量,会随并发数、批处理大小、序列长度变化;TPS 是某一次请求的体验。批处理能显著提高吞吐,却可能让单请求的 TTFT 变长。
做容量规划看吞吐,做交互体验看 TTFT + TPS,两个指标经常要权衡。
8 路并发各 30 token/s,服务端总吞吐约 240 token/s。
压测时同时记录总吞吐与 P95 TTFT,只报一个数容易得出错误结论。
同样一个模型,费用能差十倍,差别全在缓存、批处理、量化、并行和让它想多久。做容量规划、选部署方式、谈单价,都绕不开这几个词。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。