同为稀疏 MoE,为什么新一代模型能把成本压下来一大截

同为稀疏 MoE,为什么新一代模型能把成本压下来一大截

最近发布的几个大模型都在强调"总参数很大、激活参数很小"。这不是营销话术,而是 MoE(混合专家)架构的核心机制。搞清楚它,你就能看懂大部分成本宣传。

MoE 到底省在哪

传统稠密模型每处理一个 Token,全部参数都要参与计算。MoE 则把网络拆成多个"专家",每次只激活其中一小部分。于是有了两个数字:总参数(模型规模、知识容量)和激活参数(单次计算的实际开销)。

以 Qwen4-Max 为例:总参数 2.4T,但每个 Token 只激活 71B,比上一代同规模模型的激活参数少了约 25%。这意味着推理时真正烧掉的算力大幅下降——能力靠总参数承载,成本由激活参数决定。

激活参数不是唯一变量

今年开源阵营里,Kimi K3.1 Pro 以 2.8T 总参数、104B 激活参数著称,采用的是 O(1) 内存的注意力设计与量化专家。可以看到,各家都在往"更大总参数 + 更小激活比"的方向走,但具体实现方式不同:有的优化注意力结构,有的优化路由,有的做量化。

对使用者的实际意义

  • API 用户:激活参数下降直接反映在每 Token 价格上,这是最近价格战的技术底气。
  • 本地部署者:MoE 的总参数意味着显存占用依然可观(权重都要加载),但激活参数少意味着计算速度快。所以 MoE 模型"吃显存但不吃算力",选型时要分开看。
  • 做选型决策:不要只看"XX 万亿参数"的宣传,激活参数和缓存价格更能反映你的真实账单。

<p注:具体参数与价格引自厂商官方发布,产品迭代快,请以官方最新文档为准。

文中提到的术语量化显存混合专家推理术语速查 →
未经允许不得转载:小7分享网 » 同为稀疏 MoE,为什么新一代模型能把成本压下来一大截

评论 抢沙发

小7分享网 · 聚焦 AI 的实用博客

每天一篇,跟进 AI 行业动态、实测新工具、拆解实战教程。不堆术语,不炒概念,只写真正用得上的内容。

浏览全部文章关于本站

欢迎回来

登录 小7分享网,继续你的精彩

还没有账号?立即注册

忘记密码 ?

创建账号

注册后即可体验完整功能

已有账号?直接登录

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活