10:59
官方账号arXiv cs.AI@Shaoxiong Zhan, Shi Hu, Boyu Feng, Hai Lin, Andrew Gong, Zhengda Zhou, Jiaying Zhou, Yunyun Hou, Hao Su, Hai-Tao Zheng
推荐理由：新基准 MM-IssueLoc 专门测模型到底有没有用截图这类视觉证据，而不是全靠文本猜。当前最强系统得分才三十多，说明视觉定位远没解决。
MM-IssueLoc
共 1 条相关 AI 资讯
7月17日
10:59
MM-IssueLoc 是评估多模态仓库级问题定位的新基准，包含 652 个 issue-PR 实例、23 种编程语言，标注了 7 种图像类别和 4 个相关性等级。它提供文件级与函数级真值标签，支持纯文本与带图像两种评估模式。在测试中，最强 agent 仅达到 38.96 文件 Acc@5 和 22.45 函数 Acc@10，最强检索器达到 33.86 函数 Acc@10，表明现有系统在多模态定位上仍不可靠。该基准将视觉证据作为显式评估变量，避免与下游补丁生成效果混在一起。