01 详细解释
人阅读中文大约每秒 5–8 个字,对应 8–15 token/s,超过这个速度体感就是「瞬间出现」。低于 10 token/s 会有明显等待感。
注意区分「单请求速度」和「系统总吞吐」:并发高时单请求会变慢,但总吞吐上升。选型时要看你的场景是重交互还是重批处理。
每秒生成多少个 token,决定阅读体感。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
人阅读中文大约每秒 5–8 个字,对应 8–15 token/s,超过这个速度体感就是「瞬间出现」。低于 10 token/s 会有明显等待感。
注意区分「单请求速度」和「系统总吞吐」:并发高时单请求会变慢,但总吞吐上升。选型时要看你的场景是重交互还是重批处理。
同样一个模型,费用能差十倍,差别全在缓存、批处理、量化、并行和让它想多久。做容量规划、选部署方式、谈单价,都绕不开这几个词。