大模型逐字生成,慢是天性。有没有办法在不改模型、不牺牲输出质量的前提下提速?投机解码(Speculative Decoding)给出的答案是:让一个小模型先"抢答"几个 Token,再由大模型一次性验证。这篇把它讲明白。
核心思路:小模型起草,大模型把关
传统解码每一步都要跑一遍大模型,瓶颈在串行步数。投机解码用一个更快的小模型(drafter)一口气猜出后面若干 Token,再把这段候选交给目标大模型并行打分。大模型一次前向就能判断哪些候选可以接受、从哪里开始拒绝:被接受的直接用,第一个被拒的位置由大模型重新给出正确 Token。因为接受的部分跳过了逐步生成,整体速度就上来了。
为什么不损失质量
关键在于"验证"用的是目标大模型自己的概率分布,并配有一套经过设计的接受/拒绝规则,使最终输出的统计分布与直接用大模型逐字生成一致。换句话说,这是无损加速,而不是拿小模型的输出糊弄——前提是草稿模型与目标模型的分布足够接近。
收益来自哪三个因素
- 接受率:草稿猜得越准,一次通过的 Token 越多,收益越大。通常用同系列的小模型当 drafter;
- 草稿成本:草稿模型越小越快越好,但它本身也占显存与算力,要算总账;
- 批量与硬件:投机解码更吃算力冗余,单请求、显存吃紧时收益有限;批量推理或有空闲算力的 GPU 上更容易见效。
怎么用上
主流推理框架(如 vLLM、SGLang、Transformers 等)已不同程度内置投机解码或类似的 lookahead 配置;部分新模型还自带官方草稿模型。启用前建议做基准测试:固定一批真实请求,对比开启前后的每秒 Token 数与首 Token 延迟,确认输出分布与质量无明显变化后再上线。如果接受率长期偏低,优先排查草稿模型与目标模型的匹配度,而不是一味增加草稿长度——猜得越多但不准,反而会拖慢速度。
结论:投机解码是典型的"用算力换时间",最适合高并发、有算力冗余、草稿与目标模型匹配度高的场景。别把它当万能加速键——先用数据测出接受率,再决定是否启用。
本文属于专题推理加速与成本9 篇全部专题 →
小7分享网