01 详细解释
编码器把整段输入压成一组表示,解码器基于这组表示自回归地产出结果。翻译、摘要这类「输入和输出长度不同、需要先通读」的任务,早期几乎都用这个结构。
现在主流对话模型是 decoder-only(只保留解码器),因为生成式任务足够通用、训练也更简单。但编码器-解码器在语音识别、多模态编码等场景仍然常见。
先整体读进输入、再逐步生成输出的两段式架构。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
编码器把整段输入压成一组表示,解码器基于这组表示自回归地产出结果。翻译、摘要这类「输入和输出长度不同、需要先通读」的任务,早期几乎都用这个结构。
现在主流对话模型是 decoder-only(只保留解码器),因为生成式任务足够通用、训练也更简单。但编码器-解码器在语音识别、多模态编码等场景仍然常见。
把一整段中文先编码,再逐字生成英文译文。
读架构论文先分清「双向编码 + 自回归解码」还是「纯自回归」,这决定能不能做实时流式生成。
厂商说「用了 GQA」「换成 MoE」「支持百万上下文」时,指的都是这一层的设计。不必会推导公式,但要知道改动影响的是显存、速度还是表达能力。