AITOP

GUI代理

共 3 条相关 AI 资讯
7月29日
11:59
11:59官方账号arXiv cs.AI@Abhishek Pillai, Samir Kumar Nayak, Yuan Chen
Desktop-Delta Bench (DDB) 是一个离线步骤级基准，包含2,013个人工验证的实例，覆盖约15个应用和50个任务域。DDB通过463个三帧时序排序实例（含105个跨轨迹干扰）和1,550个前后对比对来评估模型。在8个闭源和开源模型家族、32个排序和16个单动作设置中，最佳非干扰和干扰精确匹配率分别为65.1%和65.7%。单动作结果显示，推断动作类型比定位更难：点击F1为0.96，拖拽为0.76。DDB填补了GUI定位与最终任务成功之间的诊断空白。
论文Desktop-Delta Bench计算机使用模型GUI代理
推荐理由：想测试你的桌面Agent到底能不能分清操作后的界面变化？这个新基准有2000多个真实案例，能看出模型在哪类失败上翻车。
原文
7月3日
04:57
04:57官方一手marktechpost@Asif Razzaq
阿里巴巴推出Page Agent，这是一个在网页内运行的JavaScript GUI代理。它能将实时DOM读取为文本，然后通过自然语言指令执行点击和输入操作，无需截图、多模态模型或后端重写。该工具直接在浏览器端运行，降低了自动化门槛。
AI产品Page AgentAlibaba自然语言
推荐理由：阿里开源了一个直接在浏览器里用的智能体，用自然语言就能操控网页，不用截图和复杂模型。
原文
7月2日
18:01