LMSYS 相关 AI 资讯 · AI 热点

7月31日

02:25

02:25

lmarena.ai@lmarena_ai

72°

LMSYS 发布 AutoEval，一种使用奖励模型基于数百万真实 Arena 用户偏好数据的新评估方法。它在文本、视觉、图像和代码领域均能与实时人工评估高度对齐，且将评估时间从数天缩短至数小时。AutoEval 使新模型能更快获得评分并直接显示在排行榜上。

AI模型 AutoEval Chatbot Arena LMSYS

推荐理由：以后新模型上线几小时就能看到评分了，比之前等几天快得多，而且数据来自真实用户偏好，可信度高。

6月23日

03:55

03:55

lmarena.ai@lmarena_ai

精选

Arena排行榜基于全球社区的真实任务动态更新，而非静态基准。评估流程包括内部基准测试、模型接入、社区投票、分数稳定化和公开发布。团队采用Bradley-Terry模型确保分数稳定性，并区分Expert和Hard难度以细化评估维度。视频还介绍了代码名称、身份泄露过滤及投票质量控制等机制。

技巧 Arena LMSYS 模型评测

推荐理由：想了解AI模型评测怎么运作的？Arena团队亲自拆解从内测到上线的完整评估流程，还讲了Bradley-Terry分数如何保证公平，干货满满。

6月9日

01:46

01:46

lmarena.ai@lmarena_ai

精选

LMSYS 推出 Agent Arena，一个基于真实用户交互的智能体能力排行榜。该排行榜通过因果追踪方法，分析智能体在竞争情报、市场分析、科研等深度研究任务中的表现。排行榜依据五个行为信号（确认成功、表扬/投诉、可操控性、故障恢复、工具幻觉）动态更新。用户每次使用 Agent Mode 的会话都会影响排名，使评估更贴近实际使用场景。

AI产品智能体排行榜评估方法

推荐理由：做 AI 智能体评估或选型的团队终于有了基于真实使用数据的排行榜，比传统基准测试更贴近实际效果，值得关注。