arXiv精选AI 评分 89
研究发现 LLM 的数学推理内部结构更按“方法”而不是“题目主题”组织
作者提出 generation-replay protocol:模型先生成数学解答,再重放 prompt+generation 轨迹并提取 reasoning-token activation-importance signatures。对 8 个模型和 5 类数学 reasoning 来源的 40 个 model-source 组合做无监督聚类后,frontier-LLM judges 在 77%–82% 的真实 cluster 中识别出 approach-level coherence,而 matched within-source controls 只有 6%–11%。进一步的 approach-controlled prompting 也能在 8 个模型条件中的 7 个改变 cluster assignment。
推荐理由:它直接挑战按 algebra/geometry/number theory 等 topic 组织数学 benchmark 和训练数据的惯例:即使 topic-balanced,reasoning approach 仍可能严重失衡。对 AI4Math benchmark design、curriculum 和 mechanistic evaluation 都有明确影响。
阅读原始来源 ↗