01 详细解释
代码评测常用:同一题采样 k 次,只要有一次通过测试就算成功。pass@1 看稳定性,pass@10 看「多试几次能不能做出来」。
两个数字要一起看:pass@1 高说明可靠,pass@1 低但 pass@10 高说明需要多次采样筛选——工程上可以配自动测试来挑答案。
代码评测常用:同一题采样 k 次,只要有一次通过测试就算成功。pass@1 看稳定性,pass@10 看「多试几次能不能做出来」。
两个数字要一起看:pass@1 高说明可靠,pass@1 低但 pass@10 高说明需要多次采样筛选——工程上可以配自动测试来挑答案。
「跑分高」和「好用」之间隔着一条鸿沟。这组词帮你看懂分数怎么来的、评测集有没有被污染,以及攻击是从哪进去的。