01 详细解释
数学上把「奖励模型 + 强化学习」两步合并成一个分类损失:让模型提高「好回答」的概率、降低「差回答」的概率。工程上简单得多,不需要 PPO 那套采样与价值网络。
效果接近 RLHF,成本低一个量级,已经成为开源模型后训练的主流做法。
跳过奖励模型,直接用偏好数据对微调。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
数学上把「奖励模型 + 强化学习」两步合并成一个分类损失:让模型提高「好回答」的概率、降低「差回答」的概率。工程上简单得多,不需要 PPO 那套采样与价值网络。
效果接近 RLHF,成本低一个量级,已经成为开源模型后训练的主流做法。
预训练、对齐、微调、蒸馏各有各的代价。看懂这组词,才能分清「知识量变了」还是「只是更听话了」,也才知道自己的业务该不该做微调。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。