← 返回精选
arXiv精选AI 评分  92

Direct Optimization of Generators for Search:把 Lean 定理证明模型的训练目标直接对齐到有限预算搜索成功率

该工作指出,LLM theorem prover 通常在 tree search 中部署,但训练仍使用逐 token cross-entropy,目标与有限预算下的搜索成功并不一致。作者将 Compute-Aligned Training 扩展到 policy-guided search,推导出基于 trace 的 search-aware losses,并提出无需指定具体搜索策略的 uniform-allocation loss。Lean 4 / LeanDojo 实验显示,两类目标在 458 个 held-out theorem、6 种 search strategy 上均优于普通 cross-entropy;而且相对收益在更紧的 expansion budget 下更明显。

推荐理由:它把 theorem prover 的训练目标从“模仿 demo tactic”推进到“直接优化搜索时真正关心的有限预算 proof success”,并且验证了 search-aware objective 与 test-time compute 的耦合,对 production theorem-proving agent 训练非常直接。
阅读原始来源 ↗