发生了什么？
Apple 研究者发布 GSM-Symbolic，并报告同一类 GSM8K 风格题目在不同模板实例化下会产生显著性能波动；随着题目复杂度增加，性能进一步下降，而加入看似相关但实际无关的条件时，所测模型的成绩最高可下降 65%。
为什么重要？
GSM-Symbolic 把“基准鲁棒性”本身提升为 AI4Math 评测中的核心问题，并提供可复用的方法，用于区分表面准确率与受控扰动下的稳定推理能力。
重要性说明：GSM-Symbolic 将数学推理评测从单一静态分数推进到可控鲁棒性测试：通过符号模板生成语义等价题目，并检验模型对数值变化与无关条件的敏感性。
证据与状态一览
- 重要性
- H2 · 领域里程碑
- 验证状态
- 论文已发布
- 证据等级
- E3 · 可检查工件
- AI 角色
- 仅计算支持
- 形式保障
- 有形式化工件
如何理解这些标签？ →
贡献与验证
- 数学新颖性
- 基准结果
- 接口
- 非形式化, 数值
- AI 贡献
- 语言模型作为被评测系统，对受控变体题目生成答案；基准模板、扰动设计与分析由研究者完成。
- 人类贡献
- 研究者设计符号模板与扰动题族，选择并运行被测模型，分析鲁棒性缺陷，并公开生成后的基准数据。
- 验证状态
- 论文已发布 · E3 · 可检查工件 · 有形式化工件
- 最后审阅
- 2026-09-11
技术细节
- 系统
- gsm-symbolic, gsm8k
- 机构
- apple
- 数学问题
- grade-school-math-word-problems
- 方法
- symbolic-templates, robustness-evaluation, controlled-perturbations, benchmarking
