Agent Arena 用基于真实任务轨迹的方法评估模型表现
Arena.ai 搞了个新评估方法，考题不是人工设计的，而是全球用户提交的真实任务，再分析模型执行过程的完整轨迹来打分。比起 Chatbot Arena 靠投票、固定榜单跑分，这种方式更贴近智能体真实干活的表现。做智能体选型的开发者可以关注它的结果。
Arena.ai 推出 Agent Arena，评估方式不再是静态基准测试，而是基于 trace 的方法：把全球社区用户提交的真实任务作为考题，再分析模型执行智能体任务时的完整轨迹。评估素材来自真实用户实际提交的任务，覆盖真实使用场景，而非人工构造的测试集。
具体做法上，Arena 会记录并分析模型在执行任务过程中产生的执行轨迹，以此衡量其在真实任务上的表现。这与 Chatbot Arena 式的纯用户投票、或 SWE-bench 这类固定测试集形成差异：既保留了真实任务来源，又加入了对执行过程的细粒度分析。
对开发者来说，这种基于 trace 的评估更能反映智能体在真实工作流中的可用性，选型时可将其结果与公开基准交叉参考，判断模型在复杂多步任务上的实际表现。
Not just a benchmark: Agent Arena evaluates model performance using a trace-based methodology grounded in real-world tasks submitted by a global community of users. x.com/arena/status/2… Arena.ai @arena x.com/i/article/2085… 🔗 View Quoted Tweet📊 1 ⚡
This report is categorized under AITOP's "Products" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Agent Arena, Arena.ai, 智能体, 模型评测.
Source attribution: curated from lmarena.ai (@lmarena_ai).
