17:49
官方账号arXiv cs.AI@Ankita Rajaram Naik, Anupama Murthi, Benjamin Elder, Siyu Huo, Raavi Gupta, Abhinav Jain, Praveen Venkateswaran, Abdulhamid Adebayo, Danish Contractor
精选
推荐理由：IBM新基准VAKRA，测API和文档多跳推理，最强70.4%，多跳掉一半，暴露AI短板。
VAKRA
共 1 条相关 AI 资讯
8月13日
17:49
研究人员推出VAKRA基准，包含62个领域的8000多个可执行API，用于测试智能体在工具使用策略约束下的多跳推理。最佳模型在单跳端点任务上准确率只有70.4%，在组合API任务上降至50-51%。当推理深度增加时，模型性能下降超过50%。在策略约束的不可回答查询上，部分模型准确率低至2.4%。错误分析显示，失败主要集中在实体消歧和跨源信息对齐等语言中介推理环节。