AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

Double Ratchet

共 1 条相关 AI 资讯
7月15日
09:20
09:20官方账号arXiv cs.AI@Xing Zhang, Guanghui Wang, Yanwei Cui, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He
这篇论文指出,自进化智能体系统依赖一个隐藏假设:存在可靠的评估指标,但现实中往往没有。作者提出演化指标方法,通过搜索小缺陷检测器的组合形成可检查的指标,使用十项锚定参考集训练,并采用共识正则化和留出审计。在代码生成(MBPP+)、企业文本到SQL(Spider 2.0-Snow)和无参考报告生成任务中,共进化方法Double Ratchet保留了由真实指标驱动下的88-110%的提升效果。安全方面,移除锚定守卫会导致指标退化,独立裁判能捕获技能游戏行为,且任务感知裁判在77%的判定对中偏好演化输出。
论文LLM智能体评估指标

推荐理由:这篇论文解决了自进化AI的一个核心漏洞:没有可靠指标怎么办。他们让指标和技能一起进化,在多个基准上验证了有效性,还能防作弊。值得研究Agent自改进的人读一读。
原文
精选全部日报登录