03:55lmarena.ai@lmarena_ai精选Arena排行榜基于全球社区的真实任务动态更新,而非静态基准。评估流程包括内部基准测试、模型接入、社区投票、分数稳定化和公开发布。团队采用Bradley-Terry模型确保分数稳定性,并区分Expert和Hard难度以细化评估维度。视频还介绍了代码名称、身份泄露过滤及投票质量控制等机制。技巧ArenaLMSYS模型评测基准测试Bradley-Terry推荐理由:想了解AI模型评测怎么运作的?Arena团队亲自拆解从内测到上线的完整评估流程,还讲了Bradley-Terry分数如何保证公平,干货满满。原文
AITOP5月29日 08:02Opus 4.8发布:编程助手的“静默时刻”,是解放开发者,还是新门槛?🔥Anthropic 把 AI 编程的“确认键”彻底删掉了!Claude Code 搭载全新 Opus 4.8 模型,长时间任务不跑偏、不废话、不中断,像一个资深工程师一样默默干活,从功能开发到漏洞清扫全包圆,你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”,现在它直接交完整交付物……自主编程的最后一层窗户纸,被捅破了。做自动化开发和代码审查的团队,这个模型建议直接上手,效率差距肉眼可见……
10:56arXiv cs.AI@Shang Zhou, Wenhao Chai, Kaiyuan Liu, Huanzhi Mao, Qiuyang Mang, Jingbo Shang精选OpenDeepThink 是一种基于种群的测试时计算扩展框架,通过成对 Bradley-Terry 比较选择最佳推理候选,解决了并行采样中的选择瓶颈。每次迭代中,LLM 对随机候选对进行评判并聚合为全局排名,保留顶部候选并变异前四分之三,丢弃底部四分之一。在 Codeforces 上,Gemini 3.1 Pro 的 Elo 评分在 8 轮 LLM 调用(约 27 分钟)内提升 405 分。该方法跨弱强模型无需重新调参,在 HLE 基准上,增益集中在客观可验证领域,主观领域则出现逆转。同时发布了 CF-73 数据集,包含 73 道专家评级的 Codeforces 问题。论文推理模型测试时计算扩展Bradley-Terry并行推理Codeforces推荐理由:OpenDeepThink 用 Bradley-Terry 聚合解决了并行推理的候选选择难题,做推理扩展的开发者可以直接复现,效果显著且无需调参。原文