01 详细解释
这是最贵的一步:几万亿 token、上万张卡、几个月。数据配比(网页、代码、书籍、数学)几乎决定了模型的天花板,各家最保密的部分也在这里。
预训练出来的模型只是「会续写」,不会听指令。要变成能对话的助手,还得经过后训练。
用海量文本做下一词预测,把通用能力灌进参数里。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
这是最贵的一步:几万亿 token、上万张卡、几个月。数据配比(网页、代码、书籍、数学)几乎决定了模型的天花板,各家最保密的部分也在这里。
预训练出来的模型只是「会续写」,不会听指令。要变成能对话的助手,还得经过后训练。
预训练、对齐、微调、蒸馏各有各的代价。看懂这组词,才能分清「知识量变了」还是「只是更听话了」,也才知道自己的业务该不该做微调。