"我把提示词改了一下,感觉效果好多了。"这句话在团队里经常出现,但换个问题可能就崩。提示词优化要可靠,就得像做产品一样:有测试集、有指标、有对照实验。这篇讲怎么给提示词建立一套 A/B 测试流程。
第一步:固定一个测试集
先收集 30 到 100 条真实输入,覆盖常见场景和几个刁钻边界,并为每条写好"理想输出"或判定标准。测试集一旦确定就尽量冻结,不要在调提示词过程中偷偷往里加对你有利的样本。没有固定测试集,任何"效果提升"都无法复现。
第二步:定义可量化的指标
指标分两类。客观类:格式正确率、字段完整率、是否调用了正确的工具、是否命中禁词,可用规则或脚本自动判分;主观类:相关性、语气、有帮助程度,用人工打分或"模型裁判",但要写清评分标准(rubric),并让评分者在看不到版本编号的情况下盲评。只盯一个总分容易误判,最好同时看几个维度。
第三步:一次只改一个变量
A/B 测试的核心是控制变量。这一轮只改系统提示词的措辞,下一轮只调示例数量,再下一轮只换输出格式约束。把"加了示例"和"换了模型"混在一起改,你就无法知道到底哪个起了作用。每个版本保存独立快照,记录改动点与日期,方便回滚与追溯。
第四步:跑实验并看稳定性
对同一批测试集,用相同模型、相同温度、相同随机种子(若支持)跑每个版本,重复多次以观察波动。大模型输出本身有随机性,单次差异可能只是噪声;差异很小又不稳时别急着下结论。除平均分外也要看最差案例——一个"平均分高但偶尔严重出错"的版本,往往不如稳定的次优版本。
把流程固化下来
把测试集、评分脚本和提示词版本放进代码仓库,每次改动都跑一遍回归。这样提示词就从"玄学调参"变成可迭代、可交接的工程资产,也能避免"某人改了一句话、全链路效果变了却没人知道"。
结论:提示词 A/B 测试不复杂,难的是坚持。固定测试集、明确指标、单变量改动、看稳定性——四步做扎实,你的提示词优化就不再是凭感觉碰运气,而是可持续积累的能力。
小7分享网