Primary sourceJunyang Lin
View sourceEvent ·Multi-source
XLANG NLP Lab 发布 RoboWild 基准:前沿模型在真实环境中的机器人操作表现欠佳
XLANG NLP Lab 在 OSWorld 发布两年后推出新基准 RoboWild,测试前沿模型在物理世界中作为机器人使用智能体的泛化能力。基准包含 38 个真实布置的场景(家庭、商店、车间、实验室),4,480 个带可操作门、旋钮、抽屉的物体,以及跨四种机器人形态的 341 项任务。成绩显示 Claude Fable 5.2 以 13.3% 的准确率位居第一,GPT-6 Astra 的 token 效率更高但准确率止步于 11.6%。相比之下,同团队此前的 OSWorld 已见证模型在数字环境计算机使用任务上快速进步,而物理世界泛化仍远未解决。该基准的数据集与代码已在 Hugging Face 和 GitHub 开源,主页为 robowild.xlang.ai。
Current read
做 OSWorld 的 XLANG 团队把基准从电脑屏幕搬进了真实房间,38 个场景、4480 个可交互物体、341 项任务。最强的 Claude Fable 5.2 也只有 13.3% 准确率,GPT-6 Astra 更省 token 但只有 11.6%。做具身智能和机器人智能体的团队值得把数据集跑一遍。
11 sources57° AI heatLast updated 2026/11/21 02:30:57
Evidence
11 sourcesRelated source 1Binyuan Hui
View sourceRelated source 2lmarena.ai
View sourceRelated source 3掘金本周最热
View sourceRelated source 4Artificial Analysis
View sourceRelated source 5Browser Use
View sourceRelated source 6Kaggle
View sourceRelated source 7elvis
View sourceRelated source 8arXiv cs.AI
View sourceRelated source 9Runway ML
View sourceRelated source 10OpenAI Blog
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.