全部 AI 动态 · AI 热点

arXiv cs.AI@Jui-Hui Chung, Ziyang Cai, Zihao Li, Qishuo Yin, Rohit Agarwal, Simon Park, Rodrigo Porto, Narutatsu Ri, Ziran Yang, Shange Tang, Xingyu Dang, Hongzhou Lin, Mengdi Wang, Danqi Chen, Chi Jin, Liam H Fowl, Sanjeev Arora

精选83°

Goedel-Architect 是一个基于 Lean 4 的智能体框架，通过生成和精炼“蓝图”（定义和引理的依赖图）来简化形式化定理证明。它先根据自然语言证明生成蓝图，然后并行证明每个引理节点，失败节点会驱动全局蓝图精炼，避免了传统递归分解的低效循环。使用开源模型 DeepSeek-V4-Flash 作为骨干，在 MiniF2F-test 上达到 99.2% pass@1，在 PutnamBench 上达到 75.6% pass@1。结合自然语言证明引导，可解决更难的题目，如 IMO 2025 的 4/6 和 Putnam 2025 的 11/12。该框架在开源管道中实现了最先进性能，且成本比同类开源方案低 500 倍。

论文定理证明 Lean 4 蓝图生成智能体框架 DeepSeek

推荐理由：形式化定理证明一直门槛高、成本高，Goedel-Architect 用蓝图+精炼策略大幅提升效率，做数学证明或形式化验证的团队值得关注，开源且成本极低。

原文

6月2日

09:41

arXiv cs.AI@Quinn Dougherty, Max von Hippel, Hazel Shackleton, Mike Dodds

FVSpec 是一个新基准，用于评估 AI 模型和智能体在真实软件形式验证任务上的能力。研究团队从真实 Python 仓库中抓取 11,039 个属性测试（PBT），并自动将其中 2,772 个（25%）翻译成 9,415 个 Lean 4 规范（含占位符）。翻译过程需模拟 Python 语义、推断逻辑属性并处理依赖类型编程的复杂性。团队设计了一个三智能体 LLM 流水线完成翻译，并提供了多种自动化与基于模型的证明生成基线。所有代码和数据已开源，旨在推动 AI 辅助真实软件形式验证这一未充分探索的领域。

论文形式验证 Lean 4 属性测试 AI 基准开源/仓库

推荐理由：形式验证是 AI 生成代码质量保障的关键，做 AI 安全或软件验证的开发者可以直接用这个基准测试自己的模型，看看能否补全 Lean 证明。

原文

5月25日

11:18

arXiv cs.AI@Alessandro Sosso, Akhil Arora, Bas Spitters

精选

该论文评估了 Claude Code 在 CLEVER 基准（Lean 4 可验证代码生成）上的表现。结果显示，Claude 为 98.8% 的问题生成了有效的规范（其中 81.3% 通过了同构评分），87.5% 的问题通过了正确规范的实现验证，端到端管线成功率达 98.1%。Claude 还能对自身尝试提供高质量反馈，识别失败原因和数据集中的错误。这表明现有程序验证基准已不足以衡量现代智能体证明器的能力，需要更严格、抗错误的评估方法。

论文程序验证 Lean 4 Claude Code 智能体证明形式化验证

推荐理由：程序验证是 AI 安全的关键环节，Claude Code 在 Lean 4 上接近完美的表现意味着做形式化验证的团队可以大幅提升效率，建议关注其编译器闭环范式。

原文

5月20日

15:41

arXiv cs.AI@Gabriel Rongyang Lau

精选

本文报告了使用Aristotle API对IMO 2009第6题（Grasshopper问题）进行Lean 4形式化证明的案例。生成的代码包含一个广义定理的Lean版本、四个已验证的辅助引理，但主定理的证明中有一个未解决的“sorry”占位符。已验证的部分建立了局部数学性质，但全局组合计数步骤未被自动化证明覆盖。该案例揭示了AI辅助形式化的核心局限：局部证明搜索可以成功，但全局推理仍需人工介入。论文提供了可复现的Lean代码，并分析了已验证与未验证的证明内容。

论文定理证明 Lean 4 Aristotle API 形式化验证 IMO问题

推荐理由：这个案例对做AI辅助形式化验证的团队很有参考价值——它清晰展示了当前AI在局部引理证明上的能力，以及全局推理的瓶颈，做Lean或定理证明器开发的值得点开看看。

原文

5月19日

09:57

arXiv cs.AI@Wentao Long, Yunfei Zhang, Chenyi Li, Li Zhou, Chumin Sun, Zaiwen Wen

精选

CAM-Bench是一个新的Lean 4定理证明基准，包含1000个计算与应用数学领域的证明目标，涵盖优化、数值线性代数和数值分析。这些题目改编自教科书习题，依赖局部定义、符号和算法。研究者开发了依赖恢复管道，将每个问题标准化为独立定理并翻译成Lean目标。该基准填补了现有形式化数学基准（如IMO风格问题）的空白，聚焦于应用数学中依赖教科书概念和初等定理的题目。评估显示，现有大模型和形式化代理在跟踪局部假设、应用初等结果、分解证明和长期控制方面存在常见失败模式。

论文定理证明 Lean 4 基准测试应用数学形式化验证

推荐理由：做形式化验证或AI数学推理的团队终于有了应用数学方向的专用基准，比纯代数题更贴近实际工程场景，建议关注其失败模式分析来改进模型。

原文

5月12日

19:11

arXiv: DeepSeek@Zeynel A. Uluşan, Burak S. Akbudak, Can S. Erer, Gözde Gül Şahin

近期神经定理证明器使用基于可验证奖励的强化学习（RLVR），但面临稀疏奖励问题：困难问题中部分进展无法获得信号。为此，研究者提出学习奖励模型以评估证明质量，但比较不同奖励模型通常需要昂贵的RL训练消融实验。FormalRewardBench是首个专门评估Lean 4形式化定理证明中奖励模型的基准，包含250个偏好对，每个正确证明通过5种专家设计的错误注入策略生成错误变体。评估包括前沿LLM（如Claude Opus 4.5）、判别型LLM（如CompassJudger-1-14B）、通用LLM（如Qwen2.5-72B-Instruct）以及专用定理证明模型（如DeepSeek-Prover-V2-7B）。结果显示前沿LLM表现最佳（59.8%），而专用定理证明器表现最差（24.4%），表明定理证明能力并未迁移到证明评估任务。

论文定理证明奖励模型 Lean 4 基准测试强化学习

推荐理由：该基准填补了形式化定理证明中奖励模型评估工具的空白，揭示专用定理证明模型在评估任务上的不足，为改进RL训练信号提供了明确方向。

原文