基准测试相关 AI 资讯

8月13日

17:43

官方账号arXiv cs.AI@Jin Lu, Xuening Han, Yang Zhong, Lin Tan, Kevin Luo, Andrew Gacek, Neha Rungta

VICBench 面向代码漏洞检测，包含 100 个经人工专家与智能体工作流双重验证的漏洞引入提交，对应 100 个 CVE，覆盖 88 个项目的 Python、Java、C++ 代码。该基准涵盖 48 种 CWE 类型，修复补丁平均 38.6 行，漏洞引入提交平均 252.5 行，复杂度高于此前数据集。评测中，现有最先进的 V-SZZ 和 LLM4SZZ 算法 F1 值仅为 33.3%-40.1%，表明自动化检测仍需大量人工介入。VICBench 能更可靠地评估漏洞检测方法的真实表现。

论文 VICBench CVE 漏洞检测

推荐理由：VICBench 搞了个 100 个真实漏洞提交的基准，覆盖 Python/Java/C++，平均改动比旧数据集大不少，测漏洞检测用它更靠谱。

原文

03:27

官方一手歸藏(guizang.ai)@op7418

71°

DeepSeek V4 Pro 正式版 0813 已发布。从流传的测试成绩来看，DeepSeek V4 Pro 依然相当爆炸。目前官方尚未公布 DeepSeek V4 Pro 的具体基准得分。社区对 DeepSeek V4 Pro 的讨论热度很高。

AI模型 DeepSeek V4 Pro 基准测试

推荐理由：DeepSeek 又发新版本了，V4 Pro 0813 的社区测试成绩看着很猛，想感受下有多强就点进来吧。

原文

00:57

Jerry Liu@jerryjliu0

73°

LlamaParse 团队发布 36 页 ArXiv 论文，介绍企业文档抽取基准 ExtractBench。该基准用 370 份企业文档、4869 页、67 种文档类型评估 14 套抽取系统。核心发现是：超过 50 页的长文档会让商业 VLM 召回率跌到 35% 以下，原因是静默截断表格行。ExtractBench 用价值准确率、空间溯源和单页成本等指标做确定性评测，不依赖 LLM 裁判。同时发布的 LlamaParse Agentic Plus 在榜单上取得 95.6% 价值准确率，成本不到最接近竞品的三分之一。

论文 ExtractBench LlamaParse Agentic Plus

事件专题

推荐理由：LlamaParse 发布 ExtractBench：长文档让商业模型召回崩到 35%；自家 Agentic Plus 95.6% 登顶，成本更低。

原文

00:27

lmarena.ai@lmarena_ai

79°

xAI 推出 Grok 4.6，在 LMArena 的 WebDev 基准上以 1618 分排名第7。相较 Grok 4.5 的 1553 分（第13名）提升明显，且定价保持不变。目前 Grok 4.6 与 GPT-5.6 Sol xHigh（1622 分）和 Claude Fable 5（1627 分）仅差 4 到 9 分，三者同处第5至第7区间。

AI模型 Grok 4.6 xAI LMArena

推荐理由：xAI 把 Grok 4.6 放出来了，网页开发能力直接冲到 LMArena 第7，跟 GPT-5.6 和 Claude 最新版就几分之差，这代提升挺猛。

原文

8月12日

19:32

The Rundown AI@therundownai

Anthropic近日发布了一项新研究，聚焦于提升Claude模型在复杂任务中的表现。该研究引入了新的训练方法，使Claude在推理和代码生成任务上取得了显著进步。在多个基准测试中，Claude的得分超越了前代版本，接近GPT-4的水平。研究团队还公开了部分技术细节，为后续模型优化提供了方向。

论文 Anthropic Claude 推理模型

事件专题

推荐理由：Anthropic发了新研究，Claude在推理和代码上又强了，接近GPT-4，想了解细节的可以看看。

原文

18:22

官方账号arXiv cs.LG@Shiqi Huang, Jiani He, Dingyan Shang, Yihua Xu, Jize Li, Yan Lyu, Lashimi Muraleedharan Nair

DACRI 研究提出 CriticalSCM-Bench v1，一个带因果真值的合成基准，用于评估供应链干预策略。相比全信息静态基准，LambdaMART 在中位归一化净值上提升 5.7% 至 16.2%，在半导体和关键材料场景有统计支持，但在数字基础设施上不如领域常量缓冲策略。部分和延迟信息下，LambdaMART 保留全信息价值的 33% 至 75%。压力测试显示干预保真度、时机、成本和未见过中断会改变策略排序，关键材料的外推保留最弱。540 次生成中的受保护解释研究在确定性验证和模板回退后保留了所有固定干预决策，但措辞不稳定。

论文 DACRI 供应链因果推断

推荐理由：这篇论文用合成基准测了不同干预策略在供应链里的实际效果，LambdaMART 在某些场景确实更优，但数字基础设施上简单策略反而更强，值得做决策的人看看。

原文

18:16

官方账号arXiv cs.LG@Songlin Du, Xiaoyong Lu, Zeyu Wu, Xiaobo Lu, Guobao Xiao, Bin Fan, Jiayi Ma, Takeshi Ikenaga

该综述系统梳理了跨视角特征匹配领域，提出涵盖特征提取、单类型匹配器、多类型匹配器、视觉基础模型方法、训练策略和鲁棒估计的分类体系。文章对代表性方法在统一协议下进行基准测试，比较性能差异。综述指出领域正从任务特定模型转向统一可泛化的对应模型，并讨论了效率、极端条件鲁棒性和跨域泛化等开放挑战。

论文跨视角特征匹配视觉基础模型综述

推荐理由：想了解跨视角匹配的现状和未来？这篇综述把方法分类、基准测试和基础模型趋势都讲清楚了，适合快速入门。

原文

17:45

AI Will@FinanceYF5

AI Agent在电脑操作基准测试中的成绩一年内从42%提升至85%，超过约72%的人类基准。这些Agent已从演示阶段进入真实业务场景。企业关注的重点已从Agent能否点击按钮，转向其能否稳定完成整份工作。

AI模型 AI Agent 电脑操作基准测试

推荐理由：AI Agent操作电脑的成绩一年翻倍，已经超过七成人类，现在开始进企业干整份活了，看看它们到底行不行。

原文

17:37

AI Will@FinanceYF5

电脑操作Agent的基准成绩在一年内从42%提升至85%，超过约72%的人类基准。它们已从演示阶段进入真实业务场景。企业关注点已从能否点击按钮转向能否稳定完成整份工作。这标志着Agent能力提升后，可靠性成为新的核心挑战。

AI模型 AI Agent 电脑操作基准测试

推荐理由：看这篇，电脑操作Agent一年从42%冲到85%，但真正难的是稳定干完一整份活，企业现在最头疼这个。

原文

15:59

官方账号arXiv cs.AI@Alicia Larsen, Victoire Laurent, Aulia Kharis Rakhamsari, Lara Turgut, Nino Antulov-Fantulin

V-FiLLM 是一个新的金融推理基准框架，通过可执行计算树在真实表格上生成题目，答案由构造保证正确，无需人工标注。基准提供四个难度控制维度：计算深度、表达式广度、金融概念复杂度和上下文规模。评测显示，推理深度增加时准确率最高下降51%，对抗性数值扰动下下降47个百分点。对开源模型进行轻量 LoRA 微调后，在留出问题上准确率从81.1%提升至85.6%，并在 FinQA 上比基础模型高5个百分点。

论文 V-FiLLM 金融推理基准测试

推荐理由：想测金融表格推理？V-FiLLM 用计算树自动生成题目，不用人工标注，还能控制难度，微调后效果提升明显。

原文

07:05

Jerry Liu@jerryjliu0

LlamaIndex推出ExtractBench，一个覆盖4869页、67种文档类型、8个真实领域的企业文档提取基准。该基准包含超过1k行的表格、嵌套表格、跨页表格、扫描件和手写文档等复杂情况。评测了14个系统，包括前沿VLM、编码智能体和专用提取API。关键发现是超过50页的文档中，商业VLM因静默列表截断导致召回率低于35%。同时发布LlamaParse新层级Agentic Plus，以95.6%的值准确率位居榜首，成本仅为最接近对手的三分之一。

AI模型 ExtractBench LlamaIndex LlamaParse

事件专题

推荐理由：做文档提取的可以看看，LlamaIndex搞了个大基准，测了14个模型，发现长文档上大模型掉链子，还顺带出了个便宜又准的提取工具。

原文

8月11日

23:41

elvis@omarsar0

精选

Qodo发布了AI Code Review Academy，这是一套免费的代码审查学习章节，无需注册即可访问。其中基准测试与工具对比章节建议，评估审查工具时应使用真实生产环境的PR数据，并让所有工具在默认设置下运行。该章节引用2025年一项研究，同一模型在孤立基准测试中得分84-89%，但在真实代码库中仅得25-34%。Qodo建议用自己代码库的10-20个PR来测试候选工具。

技巧 Qodo 代码审查 AI Code Review Academy

推荐理由：Qodo出了个免费学院，专门教你怎么评估AI代码审查工具，不用注册就能看。里面讲清楚了基准测试怎么才算靠谱，还给了实测数据，挺实在的。

原文

23:31

Jerry Liu@jerryjliu0

精选

LlamaIndex 推出 ExtractBench，号称最全面的复杂企业文档信息提取基准。该基准测试了 14 个系统，包括前沿 VLM、编码智能体和专用提取 API，覆盖 370 份企业文档、4,869 页和 67 种文档类型。最大发现是超过 50 页的文档中，商业 VLM 因静默列表截断，召回率跌破 35%。ExtractBench 评估值准确率、长记录完整性、空间定位和每页成本，完全确定性且无需 LLM 评判。同时发布 LlamaParse 新层级 Agentic Plus，以 95.6% 值准确率位居榜首，成本仅为最接近对手的三分之一。

AI模型 ExtractBench LlamaIndex LlamaParse

事件专题

推荐理由：LlamaIndex 搞了个提取基准，测了 14 个系统发现长文档上 VLM 会悄悄丢行，还顺带出了个便宜三倍的提取服务，搞文档处理的值得看看。

原文

19:30

The Rundown AI@therundownai

Meta 在 AI 模型竞赛中重新发力，发布了一款新的推理模型。该模型在多项基准测试中表现突出，包括数学和代码生成任务。Meta 此举旨在与 OpenAI 和 Anthropic 等公司竞争。具体模型名称和详细性能数据尚未完全公开。

AI模型 Meta 推理模型基准测试

事件专题

推荐理由：Meta 又出新推理模型了，想看看它跟 GPT 和 Claude 比怎么样，这篇可以了解个大概。

原文

12:58

AK@_akhaliq

精选

SWE-Bench ProMax 是一个新基准，用于评估 AI 智能体在大规模多语言代码重构任务上的表现。该基准基于 SWE-Bench 扩展，覆盖多种编程语言，任务规模更大。论文已在 Hugging Face 发布，旨在测试智能体处理复杂重构的能力。初步数据显示，现有模型在该基准上仍有较大提升空间。

论文 SWE-Bench ProMax 代码重构智能体

推荐理由：想测测你的 AI 编程助手在多语言重构上到底行不行？这个新基准 SWE-Bench ProMax 就是干这个的，比原来的 SWE-Bench 更狠。

原文

11:53

官方账号arXiv cs.AI@Derin Gezgin, Jim O'Connor, Tanner Goodwin, Gary B. Parker

DSLE是一个容器化平台，将《黑暗之魂：重制版》的22个Boss战作为Gymnasium风格基准。DSLE-5子集包含5个代表性Boss，用于评估随机策略、专家系统、进化基线和PPO/DQN智能体。专家系统和进化基线分别以63%和43%的胜率击败教程Boss，但其他方法均未击败其余Boss。PPO和DQN在教程Boss上胜率最高仅0.33%，其余为0%。研究通过生存时间和伤害量报告失败案例。

论文 DSLE Dark Souls 强化学习

推荐理由：想测强化学习在硬核动作游戏里的极限？DSLE把黑暗之魂Boss战变成基准，PPO和DQN连教程Boss都打不过，看看专家系统怎么赢的。

原文

11:45

官方账号arXiv cs.AI@Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

Sci-VBench 是一个评估科学领域视频生成的新基准，包含 1,253 个专家标注示例，覆盖 60 个主题和四个学科。该基准要求模型生成具有科学推理和知识基础的视频，而非仅表面视觉合理性。研究显示，非专家评估者和 MLLM-as-Judge 系统与专家判断有较高一致性。对 16 个模型的测试发现，自动感知质量分数相近，但提示接地和科学因果正确性差异显著，且专有模型与开源模型差距明显。这表明视觉真实性的进步尚未转化为对科学和因果动态的可靠建模。

论文 Sci-VBench 视频生成科学推理

推荐理由：想知道视频生成模型在科学推理上有多靠谱？这个新基准测了 16 个模型，发现视觉好看不等于科学正确，专有和开源差距不小。

原文

07:32

lmarena.ai@lmarena_ai

MAI-Image-2.6 在图像模型竞技场综合排名升至第 2，前代 2.5 为第 10。3D 成像与建模从第 6 跃至第 1，卡通动漫与奇幻从第 8 升至第 2。产品、品牌与商业设计从第 7 升至第 2，文本渲染从第 8 升至第 2，艺术类别从第 4 升至第 2。摄影写实与电影图像从第 11 升至第 3，肖像类也从第 11 升至第 3。

AI模型 MAI-Image-2.6 MAI-Image-2.5 图像生成

事件专题

推荐理由：MAI-Image-2.6 在竞技场冲到第二，3D 建模直接第一，比 2.5 提升巨大，可以围观它的生成表现。

原文

02:00

OpenRouter@OpenRouterAI

OpenRouter 在 X 平台发布帖子，宣布其博客已更新公告内容。公告页面提供了相关的基准测试结果和详细说明。该帖子目前获得 1 次点赞、244 次浏览，暂无回复和转发。完整内容可访问 openrouter.ai/blog/announcem… 查看。

AI产品 OpenRouter 基准测试 AI API

推荐理由：OpenRouter 发了条公告，说博客里有更多详情和 benchmark，想了解发生了什么可以直接点进去看。

原文

01:30

lmarena.ai@lmarena_ai

Arena.ai 在 Code Arena: WebDev 上公布，闭源与开源模型的前沿分差已从 2025 年底的约 150 分压缩到约 10 分。在 Code Arena: Frontend 赛道，闭源领先优势曾扩大约 100 分，2026 年春季后收窄至约 40 分。开源阵营中，Muse Spark 1.2 预计将发布权重，Glimmer 也被视为影响排名的重要模型。官方完整分数会在 Arena.ai 放出。

AI模型 Code Arena Muse Spark Glimmer

推荐理由：开源快追上闭源了，WebDev 差距只剩 10 分，Muse Spark 1.2 还要放权重。

原文

00:32

a16z@a16z

精选

去年最佳计算机使用模型在真实桌面操作的标准基准上得分42%，如今最佳模型得分已达85%，而人类测试者在相同任务上得分约72%。数据来自a16z分析师Fabrizio Serafini、Seema Amble和Zephratic的调研，显示该领域在过去18个月取得显著进展。

AI模型计算机使用智能体 a16z 基准测试

推荐理由：a16z发了份计算机使用智能体的数据，一年前最强模型才42分，现在到85分了，比人类还高，想了解进展可以看这个。

原文

8月10日

10:27

官方账号arXiv cs.AI@Rodrigo Ferreira Rodrigues, Karim Radouane, Jose G Moreno, Lynda Tamine

GeoBenchLLM是一个评估大语言模型地理相关任务能力的基准，整合了12个公开数据集。该基准覆盖地理空间和时间理解两类任务，测试了多个主流LLM。结果显示，推理能力和模型尺寸对整体性能影响显著。基准代码已在GitHub公开。

论文 GeoBenchLLM LLM 地理空间

推荐理由：想测LLM的地理常识？这个新基准GeoBenchLLM用12个数据集考了主流模型，结论是模型越大、推理越强，GitHub上可跑。

原文

8月8日

13:46

lmarena.ai@lmarena_ai

Grok Imagine Image 2.0 (Low) 由 @SpaceXAI 发布，在 LMArena 图像编辑竞技场首次亮相即获第二名，得分 1439 分。相比 Grok Imagine Image Quality 的第 7 名，新模型排名提升 5 位。在按类别统计中，除 Art 外所有类别均列第二，Art 得分待更多投票后公布。

AI模型 Grok Imagine Image 2.0 Grok Imagine Image LMArena

推荐理由：Grok Imagine Image 2.0 (Low) 在图像编辑榜冲到第二，1439 分，比自家 Quality 版升了 5 位，值得一试。

原文

8月7日

23:43

lmarena.ai@lmarena_ai

相比Muse Spark 1.1，Muse Spark 1.2的HTML类别排名从第24位升至第8位。Gaming类别从第23位升至第13位。Frontend类别从第19位升至第13位。Data & Analytics类别从第13位升至第8位。

AI模型 Muse Spark 基准测试排行榜

推荐理由：Muse Spark 1.2的HTML排名一次升了16名直接进前十，写前端代码的可以关注。

原文

13:07

官方一手arXiv: OpenAI@Ro Encarnación, Tina Behzad, Emma Lurie, Danaé Metaxa

一篇arXiv论文审计了ChatGPT聊天界面与OpenAI API两种访问模态在有无网页搜索下的表现，样本含401个提示、共4812次响应。结果显示，关闭搜索时聊天界面在两个基准上的准确率均低于API；启用搜索使准确率下降最多8个百分点，甚至逆转了一个基准的模态趋势。同一提示重复三次，最多21%的提示出现不一致响应。作者认为安全评估应系统纳入模态、多次运行一致性、搜索条件和引用行为等因素。

论文 arXiv ChatGPT OpenAI API

事件专题

推荐理由：这篇论文用真实数据告诉你，同一个模型换种方式调用，成绩能差8个百分点，跑三次还不一样，评估AI安全时别只看一个数字。

原文

12:17

官方账号arXiv cs.AI@Varun Ursekar, Apaar Shanker, Yash Maurya, Shehab Yasser, Vijay S. Kalmath, Veronica Chatrath, Yuan Xue

论文提出 HarnessOpt-Bench，专门评测 LLM 在自动优化 agent harness（提示词、工具、控制流、记忆与编排代码）时的端到端表现。优化器需要在固定评估预算下修改种子 harness，并在搜索过程不可访问的测试分区上按归一化增益打分。实验覆盖 5 个前沿 LLM、4 个下游任务，共 111 次评分运行。结果显示，优化器模型之间的能力差异大于其所用的编码 harness 差异，原生 harness 并不总是更优，增益在不同任务和种子设定下波动明显。

论文 HarnessOpt-Bench 智能体提示词工程

推荐理由：想比较哪些大模型最会自己改提示词和工具编排？这个新基准用4个任务111次运行测了5个模型，结果挺反直觉。

原文

10:14

量子位@henry

卡帕西（Andrej Karpathy）公开推荐了一个名为“指环王基准”的大模型评测方案。该基准用《指环王》原著考察模型对长篇叙事的理解，而非简单问答。目前“指环王基准”尚未放出完整测试集和模型成绩，但已在开发者社区引发讨论。

AI模型指环王 Karpathy 基准测试

推荐理由：卡帕西推了个新基准，用《指环王》当考题测大模型，比枯燥的选择题有意思多了。

原文

07:46

官方账号Greg Brockman@gdb

Ethan Bloch在GPT-5.2上开展的个人财务AI实验获得良好结果。OpenAI的个人财务基准曾显示，从5.3到5.5版本有巨大提升，该实验如果今天运行成绩会更好。目前模型已推进到5.6，作者称虽无外部基准，但性能更优。

AI模型 GPT-5.2 OpenAI 个人财务

事件专题

推荐理由：OpenAI的人说GPT-5.6在个人财务上更强了，还有5.2的实验结果和5.3到5.5的基准对比，想了解AI理财能力的可以看。

原文

8月6日

21:51

官方账号Decoder@Maximilian Schreiner

阿里发布的Qwen3.8 Max在Artificial Analysis Intelligence Index上得分56，比上一代Qwen3.7 Max的46分高出10分。该分数追平了Claude Opus 4.8。但Kimi K3的得分更高，且成本低25%。

AI模型 Qwen3.8 Max Claude Opus 4.8 Kimi K3

事件专题

推荐理由：Qwen3.8 Max一口气涨10分追平Claude，但Kimi K3更便宜还更强，值得看。

原文

19:13

官方账号阿里通义 Qwen@Alibaba_Qwen

精选

Qwen3.8-Max在Artificial Analysis Intelligence Index上排名第五，并在Agentic Index上位列第一。该模型由阿里通义千问团队发布，当前基准成绩显示了其在智能体任务上的领先表现。团队表示将继续推进模型迭代。

AI模型 Qwen3.8-Max 通义千问智能体

推荐理由：阿里刚发的Qwen3.8-Max，智能体能力跑到第一了，总榜第五，想追新模型可以看看。

原文

09:49

官方账号arXiv cs.AI@Sihan Hu, Lyuhan Huang, Youjin Deng, Kun Chen

SciCode是评估语言模型科学编码能力的标准基准，但近期模型分数停滞在60%子问题准确率附近。研究者审计全部65个问题，发现263处缺陷，其中192处导致正确的指令遵循代码被误判。修正后推出SciCode-Verified，重新测试12个前沿模型，子问题准确率从45-60%升至84-98%，主问题准确率从9-27%升至69-92%。结果表明瓶颈在于基准质量而非模型能力。

论文 SciCode-Verified SciCode 科学编码

推荐理由：他们揪出了SciCode基准里的263个坑，修完后模型分数从60%直接飙到98%——原来不是模型笨，是考卷错了。

原文

09:45

官方账号Simon Willison@simonw

精选

Pelican基准虽然能力有限，但仍能直观展示同一模型家族的进步。Meta AI的Spark初版于4月8日发布，Spark 1.1在7月9日推出，而Spark 1.2于8月5日刚刚发布。Simon Willison用Pelican基准图对比了这三个版本，清晰呈现逐代改进。

AI模型 Spark Meta AI Pelican

推荐理由：Meta Spark到1.2了，Pelican基准图里三代对比很清楚，看一眼就懂这半年进步多大。

原文

01:48

AK@_akhaliq

精选

MerchantBench 是一个专门评测 LLM 智能体在电商运营中长期连贯性的新基准。MerchantBench 包含跨多轮任务的测试场景，用于检验智能体在长时间运营中的记忆与决策一致性。论文全文已发布在 Hugging Face 平台上。

论文 MerchantBench LLM 智能体

推荐理由：MerchantBench 专门测 LLM 智能体在电商里的长期连贯性，比单轮问答更贴近实际运营，可以看看。

原文

8月5日

23:09

Suhail@Suhail

Suhail 在 X 上提问：哪些公开可用的 LLM 基准测试足够可信，能展现模型之间的真实差距？截至当前，这条帖子有 4 条回复、1 次转发、3 个赞和 1777 次查看，另有 4 次收藏。提问未限定具体基准，而是希望获得社区认可的评测标准，以避开厂商自报成绩的干扰。

行业 Suhail X LLM

推荐理由：有人问哪些公开基准能看出模型真实差距，帖子下已有回复在讨论，想看别人怎么选评测可以参考。

原文

14:35

14:35IT之家（博客/媒体）

82°

OpenAI 联合创始人 Andrej Karpathy 于 8 月 2 日提出一项新基准测试：给模型《指环王》开篇文字，要求用 three.js 构建可交互 3D 场景。测试资源上限为 100 万 tokens，成本约 10 美元。Claude Opus 5 在该任务中耗时约 2 小时，输出约 5500 行代码。生成结果包含比尔博告别宴会和财宝洞穴等 3D 动画场景。

AI模型 Claude Opus 5 Karpathy 基准测试

事件专题

推荐理由：Karpathy 的新测试：让 Claude Opus 5 用 100 万 tokens 把《指环王》开头做成 3D 场景，2 小时生成了 5500 行代码。

原文

12:24

Geek@geekbb

75°

VulcanBench 用 23 个真实软件工程任务评测模型，Qwen3.8-Max 跑完全套成本 126.25 美元，DeepSeek V4-Flash 仅需 13.60 美元。Qwen3.8-Max 每个任务耗时 20-25 分钟，是测试中最慢的模型，固定预算下最佳设置只排中游，默认设置垫底。六个原本能解决的任务贡献了 26 分降幅的 83%，其中三个得分直接归零。在准确率上 Grok 4.5 领先，按每美元准确率 DeepSeek V4-Flash 很难被击败。

AI模型 VulcanBench Qwen3.8-Max DeepSeek V4-Flash

事件专题

推荐理由：VulcanBench 实测：Qwen3.8-Max 跑一趟 126 美元，DeepSeek V4-Flash 只要 13.6 美元，便宜 10 倍还更快。选性价比就 DeepSeek，选准确率就 Grok 4.5。

原文

8月4日

23:40

lmarena.ai@lmarena_ai

精选

LMArena 公布 DeepSeek-V4-Flash-20260731(High) 的五项关键信号。总体得分上升 1.98%，确认成功项提升 6.99%，好评对差评比增加 1.54%。可引导性下降 2.31%，Bash 恢复得分 2.53%，工具幻觉率 1.2%。数据来自竞技场真实用户反馈。

AI模型 DeepSeek DeepSeek-V4-Flash LMArena

事件专题

推荐理由：想知道 DeepSeek 最新版行不行？看这五个真实用户信号，总体涨近2%，确认成功涨7%，但可引导性跌了。

原文

12:20

官方账号arXiv cs.LG@Stefano Fiorini, Edoardo Coppola, Pietro Liò

该论文首次系统评测Sheaf Neural Networks在归纳学习下的表现，覆盖三种扩散机制、三种限制图参数化和三种茎维度。研究采用不组装重Sheaf拉普拉斯算子的消息传递重构，支持跨图批处理。作者在14个归纳数据集上完成1890组受控实验，发现限制图是主导设计选择，通用映射优于特殊映射。实验还显示，增大茎维度提升容量但无法增强长程信息传递，架构组件对性能差异的贡献超过Sheaf特定设计空间本身。匹配协议下SNN可迁移至归纳场景，但与最强基线仍有数据集相关的差距。

论文 Sheaf Neural Networks 图神经网络归纳学习

推荐理由：头回有人把Sheaf神经网络放到归纳任务里系统跑分，1890组实验，结论是调外围架构比调Sheaf算子更划算。

原文

09:30

官方账号arXiv cs.AI@Timothee Mickus, Claudio Savelli, Eduardo Calò, Emilio Raimond, Stella Frank, Hengyu Luo, Flavio Giobergia, Vincent Segonne, Chuyuan Li, Aman Sinha, Lorenzo Vaiani, Jörg Tiedemann, Raúl Vázquez

该研究构建了包含1,600个人类编写的幻觉样本数据集，覆盖中、英、法、意四种语言，并同时收集了来自五个视觉语言模型的18,400个样本进行对比。所有样本采用细粒度的跨度级标注方案来标记幻觉。实验发现，人类编写的样本在标注一致性上更高，且便于控制数据集内容，同时与模型生成样本在分布上保持相似。这表明人类数据可以替代模型生成的幻觉基准，用于更稳定的模型幻觉评估。

论文幻觉检测基准测试视觉语言模型

推荐理由：这篇论文用1,600个人类写的幻觉样本对比了18,400个模型生成的样本，发现人类样本更稳定、更好控制，以后测幻觉不用老换模型了。

原文

8月3日

16:19

16:19IT之家（博客/媒体）

Arena平台发布2026年第31周AI大模型排行榜。阿里qwen3.8-max以1496分位列综合榜第5，距榜首claude-fable-5仅差13分。月之暗面kimi-k3-max以1485分排综合榜第13。代码榜中，kimi-k3-max和qwen3.8-max分别以1531分和1530分进入Top10。前端开发榜kimi-k3-max以1676分排第二，字节seedream-5.0-pro进入AI生图榜第6名。

AI模型 qwen3.8-max claude-fable-5 kimi-k3-max

事件专题

推荐理由：阿里新模型qwen3.8-max一上榜就冲到综合第五，只比榜首Claude差13分；kimi-k3-max代码也进了前十，国产模型进步挺明显，榜单值得翻翻。

原文