同一个提示词,为什么有时回答精准、有时天马行空?除了提示词本身,往往是一组“采样参数”在起作用。搞懂 Temperature、Top-p、Top-k,你就能让输出在“稳定”和“有创意”之间切换。
三个参数各管什么
Temperature(温度)控制概率分布的“陡峭程度”:值越低,模型越倾向于选最高概率的词,输出更确定;值越高,分布越平缓,用词更多样。Top-p(核采样)只从累计概率达到 p 的候选词里挑,动态缩小选择范围。Top-k则固定只保留概率最高的 k 个候选。三者都在控制“随机性”,只是切法不同。
常见误区
- 同时把多个随机性参数都调得很极端,结果难以预测——通常调一两个即可;
- 以为 Temperature 设为 0 就“绝对确定”:实现差异和浮点精度仍可能带来细微波动;
- 把所有场景都用默认配置,等于放弃了本可获得的稳定性或创造力。
按场景给配置思路
这里用相对档位而非固定数值,因为不同平台的实现与取值范围并不一致:
- 事实问答、数据抽取、分类:低温甚至接近确定性,减少发挥;
- 写代码、整理结构:偏低到中温,兼顾严谨与灵活;
- 创意写作、头脑风暴:中高温,允许多样表达;
- 需要严格 JSON 输出时,优先用平台的结构化输出能力,而不是只靠调低温度。
让结果可复现
如果平台支持固定随机种子(seed),把它和参数一起记录下来,方便复现与回归测试。对生产应用,建议把“模型版本+提示词+参数”作为一个整体来版本管理,任何一项变动都可能改变输出。
怎么调才靠谱
最有效的方法是做小样本对比:固定提示词,用几组参数各跑若干次,人工评估“稳定性”和“多样性”是否满足任务需要,再选中间值。结论:参数没有万能默认值,把它当成面向任务的旋钮,用测试来定档,而不是凭感觉乱拧。
小7分享网