01 详细解释
做法是给评测者看同一问题的两个回答(匿名、随机左右),让他选更好或平手,再汇总成胜率。比自动指标更贴近真实体验。
问题是主观性强、标注者背景差异大、成本高。同一批回答换一组评测者,结论可能反向。所以要看评测说明:谁评的、多少人、一致性如何。
让人盲选更喜欢哪个回答,作为质量信号。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
做法是给评测者看同一问题的两个回答(匿名、随机左右),让他选更好或平手,再汇总成胜率。比自动指标更贴近真实体验。
问题是主观性强、标注者背景差异大、成本高。同一批回答换一组评测者,结论可能反向。所以要看评测说明:谁评的、多少人、一致性如何。
「跑分高」和「好用」之间隔着一条鸿沟。这组词帮你看懂分数怎么来的、评测集有没有被污染,以及攻击是从哪进去的。