Epoch AI精选AI 评分 93
FrontierMath v2 修订 42% 题目:高级数学 benchmark 暴露大规模 ground-truth / specification 质量问题
Epoch AI 于 6 月 12 日发布 FrontierMath v2,对原 benchmark 中 42% 的题目进行错误修正。更新后数据集包含 338 道题,其中 Tiers 1–3 为 295 题、Tier 4 为 43 题。该修订表明在高阶数学评测中,题目本身的正确性、ambiguity 与 specification fidelity 会成为与模型能力同等重要的测量瓶颈。
推荐理由:一次需要修订 42% 题目的 benchmark 更新是重要 AI4Math evaluation signal:它直接说明 frontier-math 能力测量受 ground-truth 质量显著制约,也为后续 ProofNet / statement-fidelity 审计类工作提供背景。
阅读原始来源 ↗