01 详细解释
GPU 最怕闲着。静态批处理要等整批跑完才能接新请求,短请求会被长请求拖住;连续批处理(continuous batching)让请求随时进、完成即出,吞吐能再翻几倍。
对使用方来说,批处理 API(如各家提供的 Batch 接口)通常有 50% 折扣,代价是结果延迟几小时。离线任务优先走这条路。
把多个请求凑成一批一起算,摊薄单次开销。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
GPU 最怕闲着。静态批处理要等整批跑完才能接新请求,短请求会被长请求拖住;连续批处理(continuous batching)让请求随时进、完成即出,吞吐能再翻几倍。
对使用方来说,批处理 API(如各家提供的 Batch 接口)通常有 50% 折扣,代价是结果延迟几小时。离线任务优先走这条路。
同样一个模型,费用能差十倍,差别全在缓存、批处理、量化、并行和让它想多久。做容量规划、选部署方式、谈单价,都绕不开这几个词。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。