01 详细解释
把 Q、K 向量按位置旋转一个角度,两个向量点积时就会自然带上「相距多远」的信息。改动小、效果好,已成为开源模型的默认选择。
长上下文扩展常靠调它的底数(base):把 base 从 1 万调到几十万,再配合少量长文本继续训练,就能把窗口从 8K 拉到 128K 以上。
用旋转矩阵把相对位置编进注意力计算的主流方案。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
把 Q、K 向量按位置旋转一个角度,两个向量点积时就会自然带上「相距多远」的信息。改动小、效果好,已成为开源模型的默认选择。
长上下文扩展常靠调它的底数(base):把 base 从 1 万调到几十万,再配合少量长文本继续训练,就能把窗口从 8K 拉到 128K 以上。
厂商说「用了 GQA」「换成 MoE」「支持百万上下文」时,指的都是这一层的设计。不必会推导公式,但要知道改动影响的是显存、速度还是表达能力。