01 详细解释
每个 token 生成查询(Q)、键(K)、值(V)三组向量:用 Q 和所有 K 算相似度,归一化成权重,再对 V 加权求和。结果就是「这个词该关注句子里哪些部分」。
多头注意力并行做多组,分别捕捉语法、指代、语义等不同关系。代价是计算量随序列长度平方增长,长上下文的所有优化基本都在打这个点。
让每个 token 按相关度从其他 token 那里取信息的计算方式。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
每个 token 生成查询(Q)、键(K)、值(V)三组向量:用 Q 和所有 K 算相似度,归一化成权重,再对 V 加权求和。结果就是「这个词该关注句子里哪些部分」。
多头注意力并行做多组,分别捕捉语法、指代、语义等不同关系。代价是计算量随序列长度平方增长,长上下文的所有优化基本都在打这个点。
厂商说「用了 GQA」「换成 MoE」「支持百万上下文」时,指的都是这一层的设计。不必会推导公式,但要知道改动影响的是显存、速度还是表达能力。