01 详细解释
基座用 4bit 存储、计算时临时反量化,LoRA 旁路保持高精度训练。这样 7B 模型在 8GB 显存上也能微调,13B 在 12–16GB 上可行。
代价是训练速度略慢、精度有极小损失。对个人开发者和小团队来说,这是性价比最高的微调入口。
基座用 4bit 存储、计算时临时反量化,LoRA 旁路保持高精度训练。这样 7B 模型在 8GB 显存上也能微调,13B 在 12–16GB 上可行。
代价是训练速度略慢、精度有极小损失。对个人开发者和小团队来说,这是性价比最高的微调入口。
预训练、对齐、微调、蒸馏各有各的代价。看懂这组词,才能分清「知识量变了」还是「只是更听话了」,也才知道自己的业务该不该做微调。