计算机使用智能体相关 AI 资讯

6月25日

09:32

官方账号arXiv cs.AI@Divake Kumar, Sina Tayebati, Devashri Naik, Amanda Sofie Rios, Nilesh Ahuja, Omesh Tickoo, Ranganath Krishnan, Amit Ranjan Trivedi

Argus基准系统评估了4个VLM智能体和4个数据集上27种开箱不确定性量化方法，以及3个闭源供应商的8种方法。主要发现是UQ排名在固定模型下跨数据集稳定（Spearman rho最高0.969），但跨模型类和接口时衰减。隐状态和密度法在开箱族中最稳定，而CoCoA-1MCA、Focus等方法在特定场景胜出。闭源UQ需在目标上重新排序，平均转移相关性仅+0.08。校准后局部加权盘半径缩小40-60%，但校准-测试不匹配时覆盖度下降。

论文 Argus VLM GUI定位不确定性量化计算机使用智能体

推荐理由：这篇论文搞了个Argus基准，比较了27种不确定性方法在4个VLM模型和4个GUI数据集上的表现。结论很实在：方法排名换模型就不灵了，闭源还得单独测。做智能体部署的可以看看。

原文

6月10日

11:12

官方账号arXiv cs.AI@Jaewoo Lee, Zaid Khan, Archiki Prasad, Justin Chih-Yao Chen, Supriyo Chakraborty, Kartik Balasubramaniam, Sambit Sahu, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

精选

计算机使用智能体（CUA）在执行GUI任务时，现有批评模型存在短视和缺乏视觉基础两大局限。研究者提出HiViG框架，通过多模态批评器记录历史动作并基于截图验证执行坐标，在预执行阶段拦截错误。在网页、移动和桌面基准测试中，HiViG使Qwen3-VL-32B和Gemini-3-Flash的成功率分别提升5.8%和9.0%，并展现出强跨平台泛化能力。消融实验表明，宏观动作历史和视觉基础批评对长程GUI任务至关重要。

论文计算机使用智能体批评模型视觉基础 GUI自动化 HiViG

推荐理由：做GUI自动化智能体的团队终于有了能记住历史并看清屏幕的批评器——HiViG在长任务中显著提升成功率，建议做CUA开发的直接看论文。

原文

5月20日

10:14

官方账号arXiv cs.AI@Jinbiao Wei, Qianran Ma, Yilun Zhao, Xiao Zhou, Kangqi Ni, Guo Gan, Arman Cohan

精选

OpenComputer 是一个基于验证器的框架，用于构建可验证的软件世界，以评估和训练计算机使用智能体。它集成了四个组件：应用状态验证器、自进化验证层、任务生成管道和评估工具。目前覆盖 33 个桌面应用和 1000 个任务，包括浏览器、办公工具、创意软件等。实验表明，硬编码验证器比 LLM 作为裁判更准确，尤其在细粒度状态依赖的任务中。前沿模型在端到端完成上仍显吃力，开源模型表现下降，暴露了计算机自动化中的持续差距。

论文计算机使用智能体验证框架桌面自动化评估基准开源/仓库

推荐理由：OpenComputer 解决了计算机使用智能体评估缺乏可靠验证的问题，做智能体开发和自动化研究的团队可以直接用它来测试和训练模型，比 LLM 裁判更靠谱。

原文

5月13日

19:12

官方账号arXiv cs.AI@Xuhao Hu, Xi Zhang, Haiyang Xu, Kyle Qiao, Jingyi Yang, Xuanjing Huang, Jing Shao, Ming Yan, Jieping Ye

精选75°

计算机使用智能体（CUA）在同时使用原子GUI操作（如点击、输入）和高级工具调用（如API文件操作）时，常因无法判断何时切换而导致执行路径次优。为解决这一问题，研究者提出ToolCUA，一种端到端智能体，通过分阶段训练范式学习最优GUI-工具路径选择。其核心包括：利用静态GUI轨迹合成工具库的轨迹缩放流水线、结合单步强化学习的工具引导GUI RFT，以及在线智能体强化学习优化。在OSWorld-MCP基准上，ToolCUA达到46.85%准确率，相比基线提升约66%，并比纯GUI设置提升3.9%，证明了混合动作空间训练的有效性。项目已开源。

论文计算机使用智能体 GUI自动化工具调用强化学习开源/仓库

推荐理由：做GUI自动化或智能体开发的团队，这个工作解决了混合动作空间路径选择的痛点——不用手动收集真实工具轨迹也能训练出高效智能体，建议点开看看方法细节。

原文