GUI Agent 相关 AI 资讯 · AI 热点

8月11日

10:27

10:27

官方账号arXiv cs.AI@Yuke Li, Xuehan Hou

GUI代理正从依赖元数据的LLM转向基于截图的纯视觉多模态大模型。论文提出回归无关框架，冻结MLLM负责解析指令，专用定位模型通过布局先验候选匹配完成坐标定位。该方法只用文本/图标二值标签训练，不学坐标回归参数。在ScreenSpot-Pro上准确率比端到端系统提升超20%；在Mind2Web上成功率和元素选择率提升超15%。

论文 GUI Agent MLLM ScreenSpot-Pro

推荐理由：GUI Agent容易瞎点，这篇把指令理解和坐标定位拆开，用布局匹配防幻觉，ScreenSpot-Pro比端到端高20个点。

7月9日

10:40

10:40

官方一手Pandaily@contact@pandaily.com (Pandaily)

努比亚宣布将在WAIC上海展上发布全球首款量产AI Agent手机。该手机内置字节跳动豆包大模型，采用GUI Agent技术实现自主执行任务，如自动订餐、发消息等。努比亚声称这是业界首款具备完整智能体能力的量产手机，标志着AI从被动响应转向主动行动。

AI产品 Nubia 豆包 WAIC

推荐理由：努比亚联合豆包搞了全球首款能自己动手的AI手机，不用你一步步教，在WAIC首发，适合好奇尝鲜的人。

6月2日

10:22

10:22

宝玉@dotey

精选

Cursor 宣布为所有 Teams 用户增加使用额度，并推出 Premium 团队席位，提供 5 倍额度仅需 3 倍成本。博主重度使用 Cursor Agent 后给出好评，认为其 multitask 模式可并行多个后台任务，速度不错；支持灵活选择多种模型，不像 Codex 和 Claude Code 受限；Plan 模式详细且稳定。不足之处包括不支持 /goal 命令、无手机版，以及缺少类似 Codex 的 Chrome use + Computer use 调试功能。整体评价在常用 GUI Agent 中排名第二，仅次于 Codex App。

AI产品 Cursor Agent GUI Agent

推荐理由：Cursor 的 Agent 模式在并行任务和模型灵活性上表现突出，做自动化开发的团队可以关注这次额度升级，性价比不错。