AI模型精选

清华大学用免费截图训练出世界级GUI智能体GUICrafter,仅需千分之一标注数据

How Tsinghua University Trained a World-Class GUI Agent with Free Screenshots

精选理由

清华用免费截图就训出顶级GUI智能体,标注量只有别人的千分之一,成本和效率都甩开一大截。

AI 摘要

清华大学团队发布GUICrafter,一个无需人工标注即可通过免费网页截图训练的GUI智能体。在AITW基准上,GUICrafter仅使用1/1000的标注数据即可匹配顶级模型如AppAgent和SeeAct的性能。其核心创新包括元任务设计和高斯奖励函数,将截图中的视觉信息转化为有效训练信号。

AI 翻译 · 中文

清华大学团队发布GUICrafter,一个无需人工标注即可通过免费网页截图训练的GUI智能体。在AITW基准上,GUICrafter仅使用1/1000的标注数据即可匹配顶级模型如AppAgent和SeeAct的性能。其核心创新包括元任务设计和高斯奖励函数,将截图中的视觉信息转化为有效训练信号。

pandailyTsinghua University's GUICrafter matches top GUI agents using 1/1000th the annotated data — through meta-tasks, Gaussian reward, and free web screenshots.