Epoch AI精选AI 评分 88
Epoch 修复 FrontierMath Tier 4 grader / statement 错误并追溯重算模型成绩,暴露研究级数学 benchmark 的评测脆弱性
Epoch AI 于 1 月 23 日修复两个影响既有 FrontierMath Tier 4 分数的问题:一个是 grader 错误,可直接重判历史输出;另一个是 problem statement 本身有误,需要对高分模型重新跑 corrected problem。Epoch 同时修复一个公开 PLD1 statement 错误,并将 benchmark 版本提升到 1.1.4。修订导致部分模型历史成绩调整。
推荐理由:这是早期 frontier-math evaluation quality 的直接证据:grader 与 statement 两类错误都能显著改变模型分数,说明 benchmark correctness 本身必须被版本化、可追溯并纳入能力结论的不确定性。
阅读原始来源 ↗