← 返回精选
arXiv精选AI 评分  90

OracleLadder 发现 LLM 数学推理的主要失败不是单步不会做,而是无法把已会的步骤组合起来

OracleLadder 通过逐级提供 roadmap、milestone answers 与单步 oracle help,定位 LLM 数学推理失败发生在哪一层。论文在 354 个 NuminaMath 问题和 6 个模型上发现,最大的失败类型是 composition gap:模型可以分别完成中间步骤,却仍不能把这些步骤组合成完整解答;该现象在剔除潜在评分错误后仍覆盖约 24%–37% 的问题,并在 MATH500、AIME 2024/25 上复现。

推荐理由:这项工作把‘数学 reasoning accuracy’拆成可诊断的结构性 failure modes,并显示单步能力与全局解题能力存在明显 composition gap;对 agent decomposition、roadmap prompting 和 RLVR 评估都具有直接意义。
阅读原始来源 ↗