01 详细解释
不只学「正确答案」,还学大模型输出的概率分布(软标签),小模型因此能继承一部分大模型的判断力,而不只是模仿结论。
今天的常见玩法是「大模型生成数据 → 小模型 SFT」,成本低、见效快。但天花板受教师模型限制,且可能把教师的坏习惯一起学走。
不只学「正确答案」,还学大模型输出的概率分布(软标签),小模型因此能继承一部分大模型的判断力,而不只是模仿结论。
今天的常见玩法是「大模型生成数据 → 小模型 SFT」,成本低、见效快。但天花板受教师模型限制,且可能把教师的坏习惯一起学走。
预训练、对齐、微调、蒸馏各有各的代价。看懂这组词,才能分清「知识量变了」还是「只是更听话了」,也才知道自己的业务该不该做微调。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。