Mathematics Dataset 建立大规模合成神经数学推理基准

原始版本为每个模块提供数百万规模的生成式问答样本,并在常规测试划分与外推设置上评估当时的序列到序列神经网络。配套开源生成器使研究者能够复现并扩展任务分布,而不仅依赖固定的静态题目列表。

发生了什么?

DeepMind 研究者发布了一套以自由文本问答表示的数学任务与生成器,覆盖算术、代数、微积分、比较、度量、初等数论类任务、多项式和概率,并设计插值与外推测试,用于同时衡量分布内表现以及超出训练难度的泛化能力。

为什么重要?

该基准推动数学推理成为具有受控难度和泛化测试的独立神经模型评测问题,并为后来从合成学校数学走向人工编写文字题和竞赛数学的 benchmark 演化提供了重要的前 LLM 历史参照。

重要性说明:Mathematics Dataset 是较早专门用于衡量神经网络数学推理能力的大规模基准之一,覆盖算术、代数、微积分、概率等学校数学领域。它通过大规模生成式训练数据以及明确的插值 / 外推测试,把数学泛化能力转化为可系统评测的研究目标,并早于后来的 MATH、GSM8K 等语言模型数学基准。

历史脉络

更早进展

—

相关里程碑

—

主要证据

证据与状态一览

重要性
H2 · 领域里程碑
验证状态
论文已发布
证据等级
E3 · 可检查工件
AI 角色
仅计算支持
形式保障
有形式化工件

如何理解这些标签? →

贡献与验证

数学新颖性
工具性进展
接口
非形式化, 符号, 数值
AI 贡献
神经序列模型在生成式数学问题上训练与评测;基准生成器、任务设计、数据划分和评测方法由研究者构建,并非 AI 自主发现的数学成果。
人类贡献
研究者设计数学模块与生成器、构建插值和外推设置、发布代码与数据,并分析模型表现及失效模式。
验证状态
论文已发布 · E3 · 可检查工件 · 有形式化工件
最后审阅
2026-09-15

技术细节

系统
mathematics-dataset
机构
deepmind
数学问题
school-level-mathematical-reasoning
方法
synthetic-data-generation, sequence-to-sequence-learning, benchmarking, extrapolation-testing

全部来源与工件

验证历史

  • 2019-04-02 · 论文已发布 · E2 · 研究记录

    arXiv 与 ICLR 研究记录确认了任务套件、评测设计以及论文报告的神经模型实验。

  • 2026-09-15 · 论文已发布 · E3 · 可检查工件

    持续公开的 DeepMind 仓库提供数据生成器、预生成数据入口与 Version 1.0 任务结构。E3 表示存在可直接检查的 artifact,并不代表论文报告的全部模型结果都已获得独立复现。

更正

当前没有记录的更正。