01 详细解释
想让模型吃透某个垂直领域(法律、医疗、公司内部文档),先用大量无标注领域文本继续预训练,再走指令微调,通常比一上来就微调效果好。
代价是容易把通用能力冲掉,所以语料里要掺一部分通用数据、学习率也要压低。它和 RAG 是两条路:CPT 把知识压进权重,RAG 把知识放在外部,前者改起来贵、后者更新快。
在已预训练好的底座上,再用领域语料继续做下一词预测。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
想让模型吃透某个垂直领域(法律、医疗、公司内部文档),先用大量无标注领域文本继续预训练,再走指令微调,通常比一上来就微调效果好。
代价是容易把通用能力冲掉,所以语料里要掺一部分通用数据、学习率也要压低。它和 RAG 是两条路:CPT 把知识压进权重,RAG 把知识放在外部,前者改起来贵、后者更新快。
用几十亿 token 的裁判文书继续训练底座,让它熟悉法律表述与文书结构。
只是要「按最新文档回答」时优先做 RAG;只有连术语和行文风格都要变,才值得做 CPT。
预训练、对齐、微调、蒸馏各有各的代价。看懂这组词,才能分清「知识量变了」还是「只是更听话了」,也才知道自己的业务该不该做微调。