OSWorld2.0 基准测试：评估计算机使用智能体的长周期真实世界任务

精选理由

想看看 AI 在真实电脑操作上能走多远？OSWorld2.0 拿 100 个长任务测智能体，GPT-4o 都只拿到 15% 成功率，差距一目了然。

AI 摘要

OSWorld2.0 是一个新发布的基准测试，专门用于评估计算机使用智能体在长周期真实世界任务中的表现。该基准包含 100 个任务，每个任务平均需要 10 步以上才能完成。相比 OSWorld 1.0，新版本增加了更多涉及多步骤规划和错误恢复的场景。测试结果显示，当前最先进的模型（如 GPT-4o）在 OSWorld2.0 上的成功率仅为 15.3%，表明长周期任务仍是 AI 面临的关键挑战。

原文 · AK

OSWorld2.0 Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks

OSWorld2.0 Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks Your browser does not support the video tag. 🔗 View on Twitter 💬 1 🔄 6 ❤️ 23 👀 4297 📊 6 ⚡

查看原推