01 详细解释
代表工作是 Mamba:不像注意力那样两两比较,而是维护一个随时间演化的隐状态,每读一个 token 就更新一次。序列越长,相对注意力的优势越明显。
短板是精确召回:让模型从长文里逐字找回某个细节,注意力仍然更稳。所以现在常见的是混合架构——大部分层用 SSM,少数层保留注意力。
用固定大小的隐状态递推处理序列,复杂度随长度线性增长。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
代表工作是 Mamba:不像注意力那样两两比较,而是维护一个随时间演化的隐状态,每读一个 token 就更新一次。序列越长,相对注意力的优势越明显。
短板是精确召回:让模型从长文里逐字找回某个细节,注意力仍然更稳。所以现在常见的是混合架构——大部分层用 SSM,少数层保留注意力。
厂商说「用了 GQA」「换成 MoE」「支持百万上下文」时,指的都是这一层的设计。不必会推导公式,但要知道改动影响的是显存、速度还是表达能力。