主要证据
- Let's Verify Step by StepS1 · 主要研究来源 · 论文 · 2023-05-31
- Improving mathematical reasoning with process supervisionS2 · 官方机构来源 · 官方公告 · 2023-05-31
- PRM800K process supervision datasetS1 · 主要研究来源 · 代码仓库 · 2023-05-31
过程监督与 PRM800K 建立数学推理的步骤级验证路线
该项目不只对最终答案给出奖励，而是收集中间推理步骤的人工判断，并据此训练过程奖励模型。PRM800K 公开了研究使用的标注、标注说明以及带评分的模型样本。
发生了什么？
OpenAI 报告称，在 MATH 解题上使用过程监督训练奖励模型显著优于结果监督；其过程监督模型在代表性的留出 MATH 子集上解出 78% 的问题，并发布包含 80 万个步骤级正确性标签的 PRM800K。
为什么重要？
步骤级验证后来成为数学推理系统的重要组成部分：它可以定位推理链从何处开始出错，并为训练与候选选择提供比只判断最终答案更细粒度的信号。
重要性说明：该工作把步骤级人工反馈变成数学推理中可系统研究和扩展的对象，直接比较过程监督与结果监督，并发布大规模过程监督数据集 PRM800K，对后续验证器与奖励模型路线产生持续影响。
历史脉络
证据与状态一览
- 重要性
- H2 · 领域里程碑
- 验证状态
- 论文已发布
- 证据等级
- E3 · 可检查工件
- AI 角色
- AI 实质性支持
- 形式保障
- 有形式化工件
贡献与验证
- 数学新颖性
- 工具性进展
- 接口
- 非形式化, 符号, 数值
- AI 贡献
- 语言模型生成数学解题轨迹，学习式奖励模型对中间推理步骤进行评分；过程监督所需的正确性标签由人工标注者提供。
- 人类贡献
- 研究者设计过程监督与结果监督的比较、数据收集及主动学习流程，人工标注者则为 PRM800K 提供步骤级判断。
- 验证状态
- 论文已发布 · E3 · 可检查工件 · 有形式化工件
- 最后审阅
- 2026-09-11
技术细节
- 系统
- process-reward-model, prm800k
- 机构
- openai
- 数学问题
- math-benchmark
- 方法
- process-supervision, process-reward-model, outcome-supervision, active-learning, verification
全部来源与工件
- Let's Verify Step by StepS1 · 主要研究来源 · 论文 · 访问于 2026-09-11
- Improving mathematical reasoning with process supervisionS2 · 官方机构来源 · 官方公告 · 访问于 2026-09-11
- PRM800K process supervision datasetS1 · 主要研究来源 · 代码仓库 · 访问于 2026-09-11
验证历史
- 2023-05-31 · 论文已发布 · E2 · 研究记录
OpenAI 公开研究论文与官方说明，报告在 MATH 上对过程监督和结果监督进行比较。
- 2023-05-31 · 论文已发布 · E3 · 可检查工件
公开的 PRM800K 仓库提供 80 万个步骤级标签、标注说明、数据划分与评测样本。E3 表示产物可直接检查，并不等同于论文报告的模型结果已获得独立验证。
更正
当前没有记录的更正。