基准测试相关 AI 资讯

模型17:53

Arena AutoEval将模型评估周期从数周压缩至数小时

LMArena出了个AutoEval，拿历史对战数据训练奖励模型，几小时就能出评估结果，比之前快多了，搞模型的可以看看。

#Arena AutoEval #模型评估 #奖励模型 #LMArena

lmarena.ai@lmarena_ai原文

模型17:52

Code Arena 发布 WebDev 排行榜，完整榜单已上线

Code Arena 开了个 WebDev 榜，想看看哪个模型写网页更行，直接点链接看排名就行。

#Code Arena #WebDev #排行榜 #基准测试

lmarena.ai@lmarena_ai原文

模型精选17:45

Arena AutoEval用人类对战数据训练奖励模型，实现快速评估

Arena 用数千万人类真实对战数据训了个奖励模型，评估速度飞快，还比 LLM-as-judge 更贴近真实偏好。

#Arena AutoEval #奖励模型 #基准测试 #LLM-as-judge

lmarena.ai@lmarena_ai原文

论文17:43

VICBench：多语言代码漏洞检测基准

VICBench 搞了个 100 个真实漏洞提交的基准，覆盖 Python/Java/C++，平均改动比旧数据集大不少，测漏洞检测用它更靠谱。

#VICBench #CVE #漏洞检测 #基准测试

arXiv cs.AI@Jin Lu 等 7 人原文

模型中美对照官方一手71°03:27

DeepSeek V4 Pro 正式版 0813 发布

DeepSeek 又发新版本了，V4 Pro 0813 的社区测试成绩看着很猛，想感受下有多强就点进来吧。

#DeepSeek #V4 Pro #基准测试

官方一手歸藏(guizang.ai)@op7418原文

论文中美对照73°00:57

LlamaParse 发布 ExtractBench：复杂企业文档抽取基准与 Agentic Plus

LlamaParse 发布 ExtractBench：长文档让商业模型召回崩到 35%；自家 Agentic Plus 95.6% 登顶，成本更低。

#ExtractBench #LlamaParse #Agentic Plus #文档抽取

事件专题

Jerry Liu@jerryjliu02 个信源在谈原文

模型中美对照79°00:27

Grok 4.6 发布，LMArena WebDev 排名第7

xAI 把 Grok 4.6 放出来了，网页开发能力直接冲到 LMArena 第7，跟 GPT-5.6 和 Claude 最新版就几分之差，这代提升挺猛。

#Grok 4.6 #xAI #LMArena #WebDev

lmarena.ai@lmarena_ai原文

论文中美对照多源确认19:32

Anthropic发布新研究，Claude模型能力再提升

Anthropic发了新研究，Claude在推理和代码上又强了，接近GPT-4，想了解细节的可以看看。

#Anthropic #Claude #推理模型 #代码生成

事件专题

The Rundown AI@therundownai11 个信源在谈原文

论文18:22

DACRI：面向关键供应链的决策感知因果干预排序

这篇论文用合成基准测了不同干预策略在供应链里的实际效果，LambdaMART 在某些场景确实更优，但数字基础设施上简单策略反而更强，值得做决策的人看看。

#DACRI #供应链 #因果推断 #LambdaMART

arXiv cs.LG@Shiqi Huang 等 7 人原文

论文18:16

跨视角特征匹配综述：基准测试与基础模型视角

想了解跨视角匹配的现状和未来？这篇综述把方法分类、基准测试和基础模型趋势都讲清楚了，适合快速入门。

#跨视角特征匹配 #视觉基础模型 #综述 #基准测试

arXiv cs.LG@Songlin Du 等 8 人原文

模型17:45

AI Agent电脑操作成绩一年从42%升至85%，超72%人类基准

AI Agent操作电脑的成绩一年翻倍，已经超过七成人类，现在开始进企业干整份活了，看看它们到底行不行。

#AI Agent #电脑操作 #基准测试 #智能体

AI Will@FinanceYF5原文

模型17:37

电脑操作Agent一年成绩从42%升至85%，但稳定完成整份工作才是真难题

看这篇，电脑操作Agent一年从42%冲到85%，但真正难的是稳定干完一整份活，企业现在最头疼这个。

#AI Agent #电脑操作 #基准测试 #企业应用

AI Will@FinanceYF5原文

论文15:59

V-FiLLM：金融推理基准，用计算树生成可验证题目

想测金融表格推理？V-FiLLM 用计算树自动生成题目，不用人工标注，还能控制难度，微调后效果提升明显。

#V-FiLLM #金融推理 #基准测试 #LoRA

arXiv cs.AI@Alicia Larsen 等 5 人原文

模型07:05

ExtractBench：覆盖4869页的文档提取基准发布

做文档提取的可以看看，LlamaIndex搞了个大基准，测了14个模型，发现长文档上大模型掉链子，还顺带出了个便宜又准的提取工具。

#ExtractBench #LlamaIndex #LlamaParse #文档提取

事件专题

Jerry Liu@jerryjliu02 个信源在谈原文

技巧 Agent 与开发者精选23:41

Qodo推出AI代码审查学院，免费章节教你评估审查工具

Qodo出了个免费学院，专门教你怎么评估AI代码审查工具，不用注册就能看。里面讲清楚了基准测试怎么才算靠谱，还给了实测数据，挺实在的。

#Qodo #代码审查 #AI Code Review Academy #基准测试

elvis@omarsar0原文

模型 Agent 与开发者精选23:31

LlamaIndex 发布 ExtractBench 基准，测试复杂企业文档信息提取

LlamaIndex 搞了个提取基准，测了 14 个系统发现长文档上 VLM 会悄悄丢行，还顺带出了个便宜三倍的提取服务，搞文档处理的值得看看。

#ExtractBench #LlamaIndex #LlamaParse #文档提取

事件专题

Jerry Liu@jerryjliu02 个信源在谈原文

模型中美对照多源确认19:30

Meta 重返 AI 模型竞赛，发布新推理模型

Meta 又出新推理模型了，想看看它跟 GPT 和 Claude 比怎么样，这篇可以了解个大概。

#Meta #推理模型 #基准测试

事件专题

The Rundown AI@therundownai11 个信源在谈原文

论文精选12:58

SWE-Bench ProMax：大规模多语言代码重构智能体基准

想测测你的 AI 编程助手在多语言重构上到底行不行？这个新基准 SWE-Bench ProMax 就是干这个的，比原来的 SWE-Bench 更狠。

#SWE-Bench ProMax #代码重构 #智能体 #多语言

AK@_akhaliq原文

论文11:53

DSLE：黑暗之魂Boss战学习环境

想测强化学习在硬核动作游戏里的极限？DSLE把黑暗之魂Boss战变成基准，PPO和DQN连教程Boss都打不过，看看专家系统怎么赢的。

#DSLE #Dark Souls #强化学习 #基准测试

arXiv cs.AI@Derin Gezgin 等 4 人原文

论文11:45

Sci-VBench：科学领域知识密集型视频生成新基准

想知道视频生成模型在科学推理上有多靠谱？这个新基准测了 16 个模型，发现视觉好看不等于科学正确，专有和开源差距不小。

#Sci-VBench #视频生成 #科学推理 #基准测试

arXiv cs.AI@Diandian Zhang 等 5 人原文

模型多源确认07:32

MAI-Image-2.6 综合排名跃至第二，较 2.5 大幅提升

MAI-Image-2.6 在竞技场冲到第二，3D 建模直接第一，比 2.5 提升巨大，可以围观它的生成表现。

#MAI-Image-2.6 #MAI-Image-2.5 #图像生成 #基准测试

事件专题

lmarena.ai@lmarena_ai3 个信源在谈原文

产品02:00

OpenRouter 公布更多信息与基准测试

OpenRouter 发了条公告，说博客里有更多详情和 benchmark，想了解发生了什么可以直接点进去看。

#OpenRouter #基准测试 #AI API

OpenRouter@OpenRouterAI原文

模型01:30

闭源与开源模型差距缩至最小，Code Arena 分差仅约 10 分

开源快追上闭源了，WebDev 差距只剩 10 分，Muse Spark 1.2 还要放权重。

#Code Arena #Muse Spark #Glimmer #开源模型

lmarena.ai@lmarena_ai原文

模型精选00:32

计算机使用智能体18个月从演示走向可部署，最佳模型得分翻倍

a16z发了份计算机使用智能体的数据，一年前最强模型才42分，现在到85分了，比人类还高，想了解进展可以看这个。

#计算机使用智能体 #a16z #基准测试

a16z@a16z原文

论文10:27

GeoBenchLLM：评估LLM地理相关任务的综合基准

想测LLM的地理常识？这个新基准GeoBenchLLM用12个数据集考了主流模型，结论是模型越大、推理越强，GitHub上可跑。

#GeoBenchLLM #LLM #地理空间 #时间理解

arXiv cs.AI@Rodrigo Ferreira Rodrigues 等 4 人原文

模型中美对照13:46

Grok Imagine Image 2.0 (Low) 在图像编辑竞技场排名第二

Grok Imagine Image 2.0 (Low) 在图像编辑榜冲到第二，1439 分，比自家 Quality 版升了 5 位，值得一试。

#Grok Imagine Image 2.0 #Grok Imagine Image #LMArena #图像编辑

lmarena.ai@lmarena_ai原文

模型23:43

Muse Spark 1.2类别排名更新，HTML升至第8位

Muse Spark 1.2的HTML排名一次升了16名直接进前十，写前端代码的可以关注。

#Muse Spark #基准测试 #排行榜 #前端

lmarena.ai@lmarena_ai原文

论文多源确认13:07

AI基准未测项：模态、搜索、引用及安全评估启示

这篇论文用真实数据告诉你，同一个模型换种方式调用，成绩能差8个百分点，跑三次还不一样，评估AI安全时别只看一个数字。

#arXiv #ChatGPT #OpenAI API #基准测试

事件专题

arXiv: OpenAI@Ro Encarnación 等 4 人11 个信源在谈原文

论文 Agent 与开发者12:17

HarnessOpt-Bench：评估大模型在提示词与工具编排优化上的能力

想比较哪些大模型最会自己改提示词和工具编排？这个新基准用4个任务111次运行测了5个模型，结果挺反直觉。

#HarnessOpt-Bench #智能体 #提示词工程 #基准测试

arXiv cs.AI@Varun Ursekar 等 7 人原文

模型10:14

《指环王》成新基准，卡帕西强推大模型评测

卡帕西推了个新基准，用《指环王》当考题测大模型，比枯燥的选择题有意思多了。

#指环王 #Karpathy #基准测试

量子位@henry原文

模型中美对照多源确认07:46

GPT-5.2个人财务AI实验表现优异

OpenAI的人说GPT-5.6在个人财务上更强了，还有5.2的实验结果和5.3到5.5的基准对比，想了解AI理财能力的可以看。

#GPT-5.2 #OpenAI #个人财务 #基准测试

事件专题

官方账号Greg Brockman@gdb11 个信源在谈原文

模型中美对照多源确认21:51

Qwen3.8 Max追平Claude Opus 4.8，但Kimi K3便宜25%仍领先

Qwen3.8 Max一口气涨10分追平Claude，但Kimi K3更便宜还更强，值得看。

#Qwen3.8 Max #Claude Opus 4.8 #Kimi K3 #Artificial Analysis

事件专题

官方账号Decoder@Maximilian Schreiner11 个信源在谈原文

模型中美对照精选19:13

Qwen3.8-Max登顶Agentic Index，智能指数排名第五

阿里刚发的Qwen3.8-Max，智能体能力跑到第一了，总榜第五，想追新模型可以看看。

#Qwen3.8-Max #通义千问 #智能体 #基准测试

官方账号阿里通义 Qwen@Alibaba_Qwen原文

论文09:49

SciCode-Verified：基准缺陷低估了语言模型的科学编码能力

他们揪出了SciCode基准里的263个坑，修完后模型分数从60%直接飙到98%——原来不是模型笨，是考卷错了。

#SciCode-Verified #SciCode #科学编码 #基准测试

arXiv cs.AI@Sihan Hu 等 4 人原文

模型中美对照精选09:45

Meta AI发布Spark 1.2，Pelican基准对比三代版本

Meta Spark到1.2了，Pelican基准图里三代对比很清楚，看一眼就懂这半年进步多大。

#Spark #Meta AI #Pelican #基准测试

官方账号Simon Willison@simonw原文

论文精选01:48

MerchantBench：评测电商LLM智能体长期连贯性的新基准

MerchantBench 专门测 LLM 智能体在电商里的长期连贯性，比单轮问答更贴近实际运营，可以看看。

#MerchantBench #LLM #智能体 #电商

AK@_akhaliq原文

行业23:09

Suhail 在 X 提问：哪些公开 LLM 基准可信？

有人问哪些公开基准能看出模型真实差距，帖子下已有回复在讨论，想看别人怎么选评测可以参考。

#Suhail #X #LLM #基准测试

Suhail@Suhail原文

模型中美对照多源确认82°14:35

卡帕西提出 AI 测试新思路：让 Claude Opus 5 用 100 万 Tokens 构建《指环王》3D 场景

Karpathy 的新测试：让 Claude Opus 5 用 100 万 tokens 把《指环王》开头做成 3D 场景，2 小时生成了 5500 行代码。

#Claude Opus 5 #Karpathy #基准测试 #3D生成

事件专题

IT之家11 个信源在谈原文

模型中美对照多源确认75°12:24

VulcanBench实测：Qwen3.8-Max慢且贵，要准确率选Grok 4.5、要性价比选DeepSeek V4-Flash

VulcanBench 实测：Qwen3.8-Max 跑一趟 126 美元，DeepSeek V4-Flash 只要 13.6 美元，便宜 10 倍还更快。选性价比就 DeepSeek，选准确率就 Grok 4.5。

#VulcanBench #Qwen3.8-Max #DeepSeek V4-Flash #Grok 4.5

事件专题

Geek@geekbb8 个信源在谈原文

模型中美对照多源确认精选23:40

DeepSeek-V4-Flash 五项信号公布：总体+1.98%，确认成功+6.99%

想知道 DeepSeek 最新版行不行？看这五个真实用户信号，总体涨近2%，确认成功涨7%，但可引导性跌了。

#DeepSeek #DeepSeek-V4-Flash #LMArena #基准测试

事件专题

lmarena.ai@lmarena_ai8 个信源在谈原文