01 详细解释
常见的有 MMLU(通识)、GPQA(专家问答)、SWE-bench(真实代码修复)、Terminal-Bench(命令行任务)。分数可横向比较,是选型的第一道筛子。
但榜单会被「针对性优化」:训练数据里混进题目、或者专门针对题型调过提示。看榜要配合看题量、评测方式(zero-shot 还是给示例)、以及是否第三方独立跑。
常见的有 MMLU(通识)、GPQA(专家问答)、SWE-bench(真实代码修复)、Terminal-Bench(命令行任务)。分数可横向比较,是选型的第一道筛子。
但榜单会被「针对性优化」:训练数据里混进题目、或者专门针对题型调过提示。看榜要配合看题量、评测方式(zero-shot 还是给示例)、以及是否第三方独立跑。
「跑分高」和「好用」之间隔着一条鸿沟。这组词帮你看懂分数怎么来的、评测集有没有被污染,以及攻击是从哪进去的。
下面这些站点来自 AI 导航(nav.ppv9.com)的同一份工具清单,按本词条的相关度挑选。