CheckMate 把数学 LLM 评测从静态答题升级为可交互的人类专家审查平台

Collins 等提出 CheckMate，一个让数学家与语言模型进行多轮交互、追问、纠错并记录 reasoning failure 的评测平台。作者强调单轮 correctness score 无法充分刻画数学模型的可用性与可靠性，尤其需要观察模型在被指出错误、要求解释定义或提供反例时的行为。项目公开原型与交互式评测框架。