01 详细解释
形式就是「输出 = 输入 + 这一层学到的增量」。梯度可以沿着这条捷径直接回传,几十上百层的 Transformer 才能稳定训练;同时每一层只需学一点增量,不必从头重建整份表示。
配合层归一化,它构成了 Transformer 块的基本骨架。看结构图里那条绕过注意力和 MLP 的弧线,就是它。
把这一层的输入直接加到输出上,让深层网络不至于训不动。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
形式就是「输出 = 输入 + 这一层学到的增量」。梯度可以沿着这条捷径直接回传,几十上百层的 Transformer 才能稳定训练;同时每一层只需学一点增量,不必从头重建整份表示。
配合层归一化,它构成了 Transformer 块的基本骨架。看结构图里那条绕过注意力和 MLP 的弧线,就是它。
第 12 层只在第 11 层表示上微调一点点,而不是重新算一份。
读模型配置里的层数时顺带看归一化与残差结构,能大致判断训练稳定性设计。
厂商说「用了 GQA」「换成 MoE」「支持百万上下文」时,指的都是这一层的设计。不必会推导公式,但要知道改动影响的是显存、速度还是表达能力。