主要证据
- MathArena: Evaluating LLMs on Uncontaminated Math CompetitionsS1 · 主要研究来源 · 论文 · 2025-05-29
- MathArena evaluation repositoryS1 · 主要研究来源 · 代码仓库
- MathArena — NeurIPS 2025 Datasets and Benchmarks TrackS1 · 主要研究来源 · 论文
MathArena 将最新数学竞赛转化为低污染的实时评测基准
MathArena 在竞赛题目发布后尽快评测模型，并记录模型发布时间与竞赛时间的先后关系。其公开管线既支持最终答案解析，也支持 USAMO、IMO 等证明型竞赛，由专家对模型生成证明进行评分。
发生了什么？
MathArena 论文发布了一个由最新数学竞赛持续更新的基准，报告 AIME 2024 存在数据污染迹象，并在最终答案型竞赛之外加入由人工专家评分的证明写作评测。
为什么重要？
当静态数学基准越来越容易受到污染与饱和影响时，MathArena 提供了可持续复用的实时评测范式，更有利于区分当前推理能力与对旧基准材料的接触，并把证明质量本身纳入评测目标。
重要性说明：MathArena 将数学推理评测从反复使用静态历史数据集，推进到在竞赛题目刚发布时即评测模型，并进一步纳入由专家评分的证明题，从评测机制上直接降低数据污染风险。
历史脉络
证据与状态一览
- 重要性
- H2 · 领域里程碑
- 验证状态
- 论文已发布
- 证据等级
- E3 · 可检查工件
- AI 角色
- 仅计算支持
- 形式保障
- 有形式化工件
贡献与验证
- 数学新颖性
- 基准结果
- 接口
- 非形式化, 数值
- AI 贡献
- 语言模型作为被评测系统生成答案或证明；基准设计、竞赛管线维护以及证明题的专家评分由人类完成。
- 人类贡献
- 研究者设计实时评测协议，选择并规范化竞赛题目，开发解析与复核工具，运行模型评测，并组织证明题回答的专家评分。
- 验证状态
- 论文已发布 · E3 · 可检查工件 · 有形式化工件
- 最后审阅
- 2026-09-11
技术细节
- 系统
- matharena
- 机构
- eth-zurich, insait
- 数学问题
- mathematical-competition-reasoning, proof-writing-evaluation
- 方法
- live-evaluation, contamination-resistant-evaluation, competition-benchmarking, expert-grading
全部来源与工件
- MathArena: Evaluating LLMs on Uncontaminated Math CompetitionsS1 · 主要研究来源 · 论文 · 访问于 2026-09-11
- MathArena evaluation repositoryS1 · 主要研究来源 · 代码仓库 · 访问于 2026-09-11
- MathArena — NeurIPS 2025 Datasets and Benchmarks TrackS1 · 主要研究来源 · 论文 · 访问于 2026-09-11
验证历史
- 2025-05-29 · 论文已发布 · E2 · 研究记录
arXiv 研究记录发布 MathArena，并报告最初的实时竞赛与证明写作评测结果。
- 2026-09-11 · 论文已发布 · E3 · 可检查工件
MathArena 公开仓库提供评测代码、竞赛配置与结果检查工具，该工作也发表于 NeurIPS 2025 Datasets and Benchmarks Track。E3 表示基础设施可直接检查，并不表示所有模型分数或污染结论均已获得独立验证。
更正
当前没有记录的更正。