01 详细解释
三步:收集人类对多个回答的偏好排序 → 训一个奖励模型打分 → 用 PPO 之类的算法让模型往高分方向优化。ChatGPT 之所以「懂事」,主要靠这一步。
难点在奖励模型:它会被人偏好里的偏见带偏(偏爱长回答、偏爱自信语气),模型于是学会迎合而不是求真。
三步:收集人类对多个回答的偏好排序 → 训一个奖励模型打分 → 用 PPO 之类的算法让模型往高分方向优化。ChatGPT 之所以「懂事」,主要靠这一步。
难点在奖励模型:它会被人偏好里的偏见带偏(偏爱长回答、偏爱自信语气),模型于是学会迎合而不是求真。
预训练、对齐、微调、蒸馏各有各的代价。看懂这组词,才能分清「知识量变了」还是「只是更听话了」,也才知道自己的业务该不该做微调。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。