01 详细解释
人类标注贵且慢,于是让一个强模型按评分标准给回答打分或排序,再走 RLHF/DPO 流程。成本降一到两个数量级,规模可以做得很大。
风险是「自我偏好」:评审模型偏爱和自己风格相似的回答,长期会把能力上限锁死。常见做法是人类标一小部分做校准。
人类标注贵且慢,于是让一个强模型按评分标准给回答打分或排序,再走 RLHF/DPO 流程。成本降一到两个数量级,规模可以做得很大。
风险是「自我偏好」:评审模型偏爱和自己风格相似的回答,长期会把能力上限锁死。常见做法是人类标一小部分做校准。
预训练、对齐、微调、蒸馏各有各的代价。看懂这组词,才能分清「知识量变了」还是「只是更听话了」,也才知道自己的业务该不该做微调。