01 详细解释
模型在预训练时读过互联网,如果 benchmark 的题目和答案也在网上,它可能只是「背过」。表现是:榜上很高,换个问法就答不出。
检测手段包括:改写题目看是否掉分、看模型能否复述原题、用训练截止日之后的新题。厂商公布的分数通常没有做这项校正。
评测题目出现在训练数据里,导致分数虚高。
本词条最后核验 2026-11-21 · 由本站编辑整理,欢迎指正
模型在预训练时读过互联网,如果 benchmark 的题目和答案也在网上,它可能只是「背过」。表现是:榜上很高,换个问法就答不出。
检测手段包括:改写题目看是否掉分、看模型能否复述原题、用训练截止日之后的新题。厂商公布的分数通常没有做这项校正。
「跑分高」和「好用」之间隔着一条鸿沟。这组词帮你看懂分数怎么来的、评测集有没有被污染,以及攻击是从哪进去的。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。