01 详细解释
训练几天到几周,中途断电、损失发散、超参选错都得能回退,所以按步数或 epoch 存快照。它也是选型的一个隐藏维度:很多开源模型发布的是某个中间 checkpoint,不是训练终点。
推理时用的权重文件(safetensors / GGUF)本质上就是一个冻结的 checkpoint,加上分词器与配置才能跑。
训练几天到几周,中途断电、损失发散、超参选错都得能回退,所以按步数或 epoch 存快照。它也是选型的一个隐藏维度:很多开源模型发布的是某个中间 checkpoint,不是训练终点。
推理时用的权重文件(safetensors / GGUF)本质上就是一个冻结的 checkpoint,加上分词器与配置才能跑。
每 1000 步存一次,第 8000 步那版在评测集上最好,就选它发布。
对比两个「同名模型」时确认权重的 commit 或 checkpoint 版本,否则结果可能不可复现。
预训练、对齐、微调、蒸馏各有各的代价。看懂这组词,才能分清「知识量变了」还是「只是更听话了」,也才知道自己的业务该不该做微调。