01 详细解释
在窄领域数据上训练太久,模型会把参数整体推向新分布,通用对话、指令跟随能力明显下降。学习率过高、训练轮数过多时最严重。
缓解手段:混入 10%–30% 的通用数据一起训、降低学习率、只训 LoRA 旁路、每轮都在通用评测集上回归测试。
微调新任务后,模型把原来的能力忘掉了。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
在窄领域数据上训练太久,模型会把参数整体推向新分布,通用对话、指令跟随能力明显下降。学习率过高、训练轮数过多时最严重。
缓解手段:混入 10%–30% 的通用数据一起训、降低学习率、只训 LoRA 旁路、每轮都在通用评测集上回归测试。
预训练、对齐、微调、蒸馏各有各的代价。看懂这组词,才能分清「知识量变了」还是「只是更听话了」,也才知道自己的业务该不该做微调。