11:02
官方账号arXiv cs.AI@Weihuang Zheng, Tianyuan Zou, Eileen Ye, Alphet Liu, Youyong Kong, Ya-Qin Zhang, Duran Zheng, Maxm Pan
推荐理由：想知道多步工具调用到底多难？E-Bench测了11个模型，最强不到60%通过率，还特意选了王者荣耀、QQ音乐和腾讯会议场景。
E-Bench
共 1 条相关 AI 资讯
7月28日
11:02
E-Bench是一个完全合成的基准，包含323个状态改变任务，覆盖Honor of Kings、QQ Music和Tencent Meeting三个产品领域。它通过图引导数据库填充创建可复用环境，并利用生成器-求解器不对称设计迫使智能体发现隐藏信息并组合多次工具调用。结果通过数据库状态差异确定性评分。评测11个前沿LLM，最强模型的Pass^3低于60%，在E-Bench-Code扩展下仍低于70%，说明多步工具使用对当前模型依然困难。