GUI智能体相关 AI 资讯

8月20日

23:05

23:05IT之家（博客/媒体）

精选

阿里推出 Qwen-UI-Agent，一个以真实世界为中心的 GUI 智能体基座模型，涵盖移动端、电脑端、网页端及深度搜索环境。在移动端 MobileWorld 基准上得分 82.1%，超越 GPT-5.6 Sol、Claude Opus 4.8 等模型；真机基准 MobileWorld-Real 得分 92.2%，接近满分。电脑端 OSWorld-Verified 得分 79.5%，超越 GPT-5.5、Gemini 3.1 Pro 等模型。浏览器 & DeepSearch 方面，WebArena 得分 73.6%，位列所有对比模型第一。

AI模型 Qwen-UI-Agent 阿里 GUI智能体

事件专题

推荐理由：阿里刚发了 Qwen-UI-Agent，能直接操作手机电脑屏幕，移动端比 GPT-5.6 Sol 高 12 个点，还能在真实手机上跑任务，以后帮你自动查地址、订高铁、整理文件应该更靠谱了。

原文

7月31日

11:36

官方账号arXiv cs.AI@Hanzhang Zhou, Panrong Tong, Xu Zhang, Quyu Kong, Chenglin Cai, Tianyu Xia, Gongjie Zhang, Jianan Zhang, Long Li, Long Chen, Lei Wang, Gaole Dai, Pengxiang Li, Liangyu Chen, Yue Wang, Steven Hoi

Qwen-UI-Agent 是覆盖移动、电脑、网页和 DeepSearch 环境的 GUI 智能体，结合沙盒环境与真实设备移动运行时。其统一动作空间支持 GUI 操作与 CLI 执行交错，并可在单次模型回合中生成批量动作。AutoResearch 数据飞轮用智能体构建任务与环境，在线强化学习支持超过 100 步轨迹，在超过 10,000 个并发环境中训练。在基准测试中，移动端达到 MobileWorld 82.1%、MobileWorld-Real 92.2%、AndroidDaily 97.5%；电脑端 OSWorld-Verified 79.5%、WebArena 73.6%。

AI模型 Qwen-UI-Agent GUI智能体移动端

事件专题

推荐理由：Qwen 团队发了 UI-Agent，一个模型统一手机、电脑、网页操作，移动端跑分超 Opus 4.8，还能插命令行，挺能打。

原文

6月26日

10:41

官方账号arXiv cs.LG@Tianyi Men, Zhuoran Jin, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

该论文提出PEEU方法，通过自主环境探索发现经验并利用事后经验生成严格对齐的高层训练数据。7B模型在真实基准上达到30.6%准确率，超越Qwen2.5-VL-32B。作者提出TDHAF框架分析任务分解的组成性泛化，发现低层原子技能掌握不保证高层规划能力，而高层任务训练对OOD泛化更关键。

论文 GUI智能体任务规划 PEEU

推荐理由：这篇让7B小模型在GUI任务规划上超过32B大模型，还分析了不同层级任务泛化的差异，很实用。

原文