10:27
官方账号arXiv cs.AI@Yuke Li, Xuehan Hou
推荐理由：GUI Agent容易瞎点，这篇把指令理解和坐标定位拆开，用布局匹配防幻觉，ScreenSpot-Pro比端到端高20个点。
Mind2Web
共 1 条相关 AI 资讯
8月11日
10:27
GUI代理正从依赖元数据的LLM转向基于截图的纯视觉多模态大模型。论文提出回归无关框架，冻结MLLM负责解析指令，专用定位模型通过布局先验候选匹配完成坐标定位。该方法只用文本/图标二值标签训练，不学坐标回归参数。在ScreenSpot-Pro上准确率比端到端系统提升超20%；在Mind2Web上成功率和元素选择率提升超15%。