arXiv精选AI 评分 86
数学规则顺序不变时,LLM 的正确答案可以保持不变,但内部表示反而高度依赖规则顺序
该工作构造多步函数组合任务:同一组数学规则以不同顺序呈现,但正确答案保持不变。作者在 16 个 1B–8B 语言模型上同时测量准确率与 permutation signal-to-noise ratio(SNR),发现模型越能正确处理规则重排,其内部表示反而越能区分不同顺序;layer-averaged permutation SNR 与准确率在所有设置中均呈正秩相关,最高 Spearman 相关达到 0.86。
推荐理由:它提醒 AI4Math 评测不要把 answer invariance 与 representation invariance 混为一谈:模型可能对等价数学表述给出同样正确答案,同时内部计算路径仍强烈依赖输入顺序。该结果为数学 reasoning robustness 提供了超越最终准确率的表征层诊断视角。
阅读原始来源 ↗