主要证据
- Training Verifiers to Solve Math Word ProblemsS1 · 主要研究来源 · 论文 · 2021-10-27
- Solving math word problemsS2 · 官方机构来源 · 官方公告 · 2021-10-29
- OpenAI Grade School Math dataset and example codeS1 · 主要研究来源 · 代码仓库
GSM8K 与学习式验证器建立语言模型数学推理的长期基准
该工作把人工编写的数学推理数据集与生成器—验证器流程结合：语言模型生成多个候选解，另一个单独训练的验证器对候选进行评分并选择最有希望的答案。
发生了什么？
OpenAI 发布约 8,500 道小学数学文字题组成的 GSM8K 数据集，并展示学习式验证器从多个模型生成解中选择候选，可以相较单纯微调显著提升大模型准确率。
为什么重要？
GSM8K 此后成为使用最广泛的小规模数学推理基准之一，而其基于验证器的推理流程也预示了后来 LLM 推理研究中广泛采用的结果验证与过程验证方法。
重要性说明：GSM8K 成为衡量语言模型多步数学推理能力的长期基准；同期提出的学习式验证器则确立了具有持续影响的“生成多个候选解并由验证器排序”路线。随着推理模型发展，数据集与验证思想都长期保持为重要参照。
历史脉络
证据与状态一览
- 重要性
- H2 · 领域里程碑
- 验证状态
- 论文已发布
- 证据等级
- E3 · 可检查工件
- AI 角色
- AI 实质性支持
- 形式保障
- 有形式化工件
贡献与验证
- 数学新颖性
- 工具性进展
- 接口
- 非形式化, 数值
- AI 贡献
- 语言模型生成候选数学解，学习式验证器对其正确性进行排序；基准题目与参考解答由人工编写和整理。
- 人类贡献
- 研究者设计基准与验证器方法，组织并整理人工编写的题目和解答，训练模型并评测其扩展规律。
- 验证状态
- 论文已发布 · E3 · 可检查工件 · 有形式化工件
- 最后审阅
- 2026-09-11
技术细节
- 系统
- gsm8k, learned-verifier
- 机构
- openai
- 数学问题
- grade-school-math-word-problems
- 方法
- language-modeling, verifier-ranking, generate-and-rank, benchmarking
全部来源与工件
- Training Verifiers to Solve Math Word ProblemsS1 · 主要研究来源 · 论文 · 访问于 2026-09-11
- Solving math word problemsS2 · 官方机构来源 · 官方公告 · 访问于 2026-09-11
- OpenAI Grade School Math dataset and example codeS1 · 主要研究来源 · 代码仓库 · 访问于 2026-09-11
验证历史
- 2021-10-27 · 论文已发布 · E2 · 研究记录
arXiv 研究记录发布了 GSM8K，并提出基于验证器的候选解选择方法。
- 2026-09-11 · 论文已发布 · E3 · 可检查工件
canonical record 直接链接 OpenAI 已归档的官方数据集仓库，使基准数据与示例评测代码可直接检查。E3 并不表示论文报告的全部模型结果都已获得独立验证。
更正
当前没有记录的更正。