01 详细解释
典型流程:让强模型按主题生成问题和答案 → 用规则或另一个模型做质检 → 混入真实数据训练。它解决了「高质量人类标注不够用」的问题。
风险是模型崩塌:如果每一代都只用上一代生成的数据训练,分布会越来越窄,多样性下降。实践里要求合成数据占比可控,并保留真实数据做锚。
由模型生成、用来训练模型的标注数据。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
典型流程:让强模型按主题生成问题和答案 → 用规则或另一个模型做质检 → 混入真实数据训练。它解决了「高质量人类标注不够用」的问题。
风险是模型崩塌:如果每一代都只用上一代生成的数据训练,分布会越来越窄,多样性下降。实践里要求合成数据占比可控,并保留真实数据做锚。
预训练、对齐、微调、蒸馏各有各的代价。看懂这组词,才能分清「知识量变了」还是「只是更听话了」,也才知道自己的业务该不该做微调。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。