AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

TableBench

共 1 条相关 AI 资讯
7月15日
09:03
09:03官方账号arXiv cs.LG@Junyu Ren
精选
EG-VAR提出基于Lean 4的形式化验证架构,通过工具调用公理和源声明确保每个输出都结构性地源自可验证的工具调用(定理3.1)和内核检查的有效推理链(定理3.2)。在TableBench数值推理子集(n=120)上,EG-VAR达到120/120,而相同工具基线为95%。在覆盖5个领域×2个模型的反事实压力测试中,EG-VAR保持100%源忠实度,相同工具下降至80-90%,无工具则为50-80%。LLM作为部署时形式化器时,Sonnet上的残余语义形式化错误率为3.3%,Opus为1.7%。
论文EG-VARLean 4TableBench

推荐理由:这论文搞了个叫EG-VAR的框架,用Lean内核做形式化验证,让LLM的推理结果100%可追溯,在TableBench上满分,比普通工具调用靠谱太多了。
原文
精选全部日报登录