01 详细解释
把 16bit 浮点压成 8bit 整数或 4bit,模型体积直接减半到四分之一,显存带宽压力同步下降。消费级显卡能跑 70B,靠的就是 4bit 量化。
代价是精度损失,通常体现在细节推理和长输出上。选择档位有个经验:Q4 是甜点,Q3 以下明显掉点,Q8 基本无损但省得不多。
用更低精度(8bit / 4bit)存权重,换更小显存和更快速度。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
把 16bit 浮点压成 8bit 整数或 4bit,模型体积直接减半到四分之一,显存带宽压力同步下降。消费级显卡能跑 70B,靠的就是 4bit 量化。
代价是精度损失,通常体现在细节推理和长输出上。选择档位有个经验:Q4 是甜点,Q3 以下明显掉点,Q8 基本无损但省得不多。
同样一个模型,费用能差十倍,差别全在缓存、批处理、量化、并行和让它想多久。做容量规划、选部署方式、谈单价,都绕不开这几个词。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。