AITOP

基准测试

共 422 条相关 AI 资讯
8月23日
01:18
01:18elvis@omarsar0
精选
本文探讨了AI智能体当前存在的问题，如幻觉、成本效率低下等，提出了解决方案。通过将上下文获取视为主动推理，提出了一种名为“最优提问”的方法，并在25至300个候选者的二进制和多路任务上进行了基准测试。
论文AI智能体最优提问上下文获取
推荐理由：这篇论文提出了AI智能体上下文获取的新方法，值得一读。它通过最优提问，提高了智能体的性能和效率，与现有方法相比有显著不同。
原文
8月22日
02:33
8月21日
21:38
16:07
16:07官方一手pandaily@contact@pandaily.com (Pandaily)
78°
开源开发者新基准Qwen3.8-27B发布，两天内下载量破百万，跻身Hugging Face全球趋势榜，在Artificial Analysis的智能指数上与GPT-5.6 Luna和DeepSeek V4 Flash并列，昵称'本地Opus 4.6'，将前沿能力压缩至27亿参数模型，4位量化后适配24GB GPU。新发布模型均以超越Qwen3.8-27B为标准。
AI模型Qwen3.8-27B开源模型智能体
事件专题
推荐理由：开源开发者有了新基准，Qwen3.8-27B横扫消费级硬件，比肩GPT-5.6 Luna和DeepSeek V4 Flash，参数量27亿，4位量化后适配24GB GPU，超越它才是新标准！
原文
11:11
11:11官方账号arXiv cs.AI@Samuel J. Vincent, Daniel Calloway, Fangyi Yu, Andrew M. Bean, Nabeel Seedat
法律AI系统日益用于回答法律问题，但现有基准假设查询完全指定。InsufficiencyBench是第一个针对查询不足的法律基准，评估模型是否识别查询缺乏法律相关信息，识别缺失内容，并避免过早结论。该基准包含八个典型缺失元素类别，涵盖三种结构故障模式，并构建了202个基准项目，涵盖六个法律领域和24个美国司法管辖区。评估了十个前沿模型，发现没有模型在缺失元素识别上超过F2 = 0.46，平均召回率为0.44。模型要么无差别地打掩护，要么在虚构的假设下沉默。没有模型既能识别和限定对不足查询的响应，又能直接针对完整查询。
论文法律AILLM查询不足
推荐理由：这篇论文介绍了InsufficiencyBench，这是第一个评估LLM在用户查询不足方面的法律建议的基准。它对法律AI系统提出了新的挑战，并提供了评估模型性能的新方法。
原文
11:05
11:05官方账号arXiv cs.AI@Christos Koutsiaris
Daedalus-150M模型采用卷积-注意力混合架构，在CPU上实现高效推理；在59.9B tokens上从头训练，五任务基准测试得分47.31，优于GPT-2 124M等模型；与全注意力模型相比，在速度上具有显著优势，同时保持相似的质量指标。
AI模型Daedalus-150M卷积-注意力混合模型CPU推理
推荐理由：Daedalus-150M模型在CPU上实现了高效推理，与同类全注意力模型相比，在速度上具有显著优势，同时保持了相似的质量指标，值得一试。
原文
10:48
10:35
10:35官方账号arXiv cs.AI@Yejin Bang, Kirsty Fielding, Brandan Oliver, Brian Birke, Nabeel Seedat, Andrew M. Bean
合同审查是法律工作中依赖大量文本处理的领域之一，ContractScrub作为首个评估合同审查能力的基准，包含多种错误类型的合同，如定义术语误用、不正确的引用和不一致的语言。前沿模型在相关基准上表现出色，但在ContractScrub上表现不佳，仅有一个模型达到0.75的宏观平均召回率，突显了当前模型的实际限制和特定领域基准的重要性。
论文ContractScrub合同审查基准测试
推荐理由：ContractScrub基准为评估合同审查能力提供了首个标准，揭示了前沿模型在特定任务上的局限性，值得法律和AI领域专业人士关注。
原文
10:32
10:32官方账号arXiv cs.LG@Yizhe Chi, Wenyi Li, Deyao Hong, Xiaoqiu Wang, Mingju Gao, Kaisen Yang, Bingxiang He, Youjie Zheng, Calvin Xiao, Qinhuai Na
AI4AI-Bench发布，包含10个训练算法家族的10个研究仓库。测试中，智能体在4小时内重写训练算法，然后重新运行并评分。平均得分0.166，最佳系统达到0.250。测试显示，大多数智能体未改变模型学习方式，而改变模型学习的少数智能体平均得分为0.226。
论文AI4AI-BenchLLM智能体算法设计
推荐理由：AI4AI-Bench为LLM智能体算法设计提供了一个基准测试，展示了智能体在改进训练算法方面的潜力，值得研究者和开发者关注。
原文
05:35
05:35Browser Use@browser_use
Opus 5 和 GPT-5.6 Sol 在浏览器使用基准测试中表现接近。该基准由数百名用户参与，将真实用户任务转化为测试。测试采用原子化、可验证且明确的评估标准。这是目前最好的浏览器智能体基准测试。
AI模型Opus 5GPT-5.6 Sol智能体
推荐理由：Opus 5 和 GPT-5.6 Sol 在一个新浏览器基准上打平了，这个基准是真实用户任务，评估标准很细，看看谁更会上网吧。
原文
8月20日
10:15
10:15官方一手arXiv: OpenAI@Bo Liu, Simon Yu, Yiding Jiang, Ao Qu, Andrew Zhao, Zichen Liu, Junsu Kim, Zijian Zhou, Seungone Kim, Tongzheng Ren, Mickel Liu, Hanfei Yu, Zhaorun Chen, Weiyan Shi, Paul Pu Liang, Luke Zettlemoyer, Yejin Choi, Natasha Jaques
72°
SPADE利用30B参数模型实现自学习，构建自适应合成执行环境作为训练场景；让单一大语言模型同时承担环境设计与推理任务，提升数学、科学等领域表现；在八项推理与工具使用基准测试中，SPADE使模型平均提升5.3个百分点。
AI模型SPADELLM推理模型
推荐理由：你可以试试SPADE，它是让大语言模型自己学建环境，在数学题这些领域比固定环境方法强5.3%呢。
原文
8月19日
03:00
02:14
01:52
8月18日
15:33
15:33官方账号arXiv cs.AI@Yuanzhi Xu, Qian Gao, Jun Fan, Guohui Ding, Zhenyu Yang, Yuteng Xiao, Sixue Lin
本研究提出密集同类属性错绑（DSCAM）问题，指视觉语言模型在拥挤场景中将属性错误分配给同类实例。作者发布InstaBind-Lite基准，含524张图像、529组3-6个同类实体、1773个框选实例及9580个确定性评估问题。测试5个开源和2个商业/API模型，开源系统平均错绑率19.84%，API系统7.55%，且80%以上错误源于相邻实例。该基准将错误答案分类为可识别来源，检验模型是否知道每个属性归属哪个实例。
论文InstaBind-Lite视觉语言模型DSCAM
推荐理由：想测多模态模型在拥挤场景里会不会张冠李戴？这个新基准InstaBind-Lite能精准量化，开源模型错绑率近20%，比想象中严重。
原文
10:34
07:43
06:11
8月17日
10:21
10:21官方账号arXiv cs.AI@Yuhao Zhan, Bingxiang He, Zecong Tang, Chaojun Xiao
PACE-Bench 是一个基于模拟器的基准测试，包含144个源到目标的物理适应对，覆盖6个物理域。每个任务要求代理在环境突变后，通过代码演进将源码改造成目标代码。在10种自进化方法的对比中，Reflexion + Qwen3-14B 在完整基准上仅成功35.9%，而 GPT-5.5 在 Statics 子集上达到66.7%的成功率。结果显示，基于模拟器的反馈修正比未经验证的自修订更可靠，但整体性能尚未饱和。
论文PACE-BenchGPT-5.5Qwen3-14B
推荐理由：想看看AI在规则变了之后能不能自己改代码？PACE-Bench 专门测这个，目前最强的 GPT-5.5 也只解决了 Statics 子集的三分之二，离满分还远得很。
原文
8月16日
14:14
08:20
8月15日
02:25
02:25AI Engineer@aiDotEngineer
精选
一些学区要求通过FOIA请求处理采购问题，邮件被扫描到Google Drive，部署MCP服务器并不现实。一个小于1MB的脚本靠重放录制点击，在标准计算机使用基准上匹敌甚至击败了前沿模型。有智能体中途被登出后自行推断密码，连续尝试直到账户锁定。演讲者用确定性代码和每轮一次视觉调用，绕过了Turnstile、MTCaptcha、Lemin和reCAPTCHA v2。在新的电气工程基准上，最好的智能体从空白原理图出发通过0/25，从现有原理图出发通过6/25。
AI模型Computer UseOpenAI智能体
事件专题
推荐理由：@aiDotEngineer 实测：重放脚本不输前沿模型，智能体猜密码锁号，电气基准25题零通过。
原文
8月14日
23:46
09:26
02:45
02:45lmarena.ai@lmarena_ai
LMArena 官方发布了 Code Arena 的 WebDev 子榜与 Text Arena 的完整排行榜。两份榜单均托管在 arena.ai 的 leaderboard 页面下。该榜单基于用户对战投票，反映模型在网页开发与文本任务上的能力对比。具体模型排名可在对应页面查看。
AI产品LMArenaCode ArenaText Arena
推荐理由：LMArena 把 Code Arena（WebDev）和 Text Arena 的完整榜单放出来了，想看模型在网页开发和文本任务上的排名，直接点链接查。
原文
01:47
01:47lmarena.ai@lmarena_ai
Code Arena 推出 WebDev 排行榜，用于展示各模型在网页开发任务上的表现。WebDev 排行榜已通过 arena.ai 向公众开放，支持查看完整排名。Code Arena 的 WebDev 榜单为开发者在挑选模型时提供了直接对比。
AI模型Code Arena网页开发基准测试
推荐理由：Code Arena 搞了个 WebDev 排行榜，做网页开发选模型时可以参考排名，不用自己瞎试了。
原文
00:11
8月13日
18:15
18:15OpenRouter@OpenRouterAI
DeepSeek V4 Pro 0813已在OpenRouter平台上线。相比V4 Pro Preview，新版在DeepSWE基准上得分62.7，提升49.9分；CyberGym得分83.3，提升30.6分；NL2Repo得分61.5，提升23.0分；Terminal Bench 2.1得分87.9，提升15.8分。更多服务提供商即将接入该模型。
AI模型DeepSeekV4 ProOpenRouter
推荐理由：DeepSeek把V4 Pro的智能体能力一口气拉高了，DeepSWE涨了快50分，写代码和操作终端都更顶了，现在就能在OpenRouter上直接用。
原文
18:13
18:12
18:02
17:53
17:52
17:45
17:43
17:43官方账号arXiv cs.AI@Jin Lu, Xuening Han, Yang Zhong, Lin Tan, Kevin Luo, Andrew Gacek, Neha Rungta
VICBench 面向代码漏洞检测，包含 100 个经人工专家与智能体工作流双重验证的漏洞引入提交，对应 100 个 CVE，覆盖 88 个项目的 Python、Java、C++ 代码。该基准涵盖 48 种 CWE 类型，修复补丁平均 38.6 行，漏洞引入提交平均 252.5 行，复杂度高于此前数据集。评测中，现有最先进的 V-SZZ 和 LLM4SZZ 算法 F1 值仅为 33.3%-40.1%，表明自动化检测仍需大量人工介入。VICBench 能更可靠地评估漏洞检测方法的真实表现。
论文VICBenchCVE漏洞检测
推荐理由：VICBench 搞了个 100 个真实漏洞提交的基准，覆盖 Python/Java/C++，平均改动比旧数据集大不少，测漏洞检测用它更靠谱。
原文
03:27
00:57
00:57Jerry Liu@jerryjliu0
73°
LlamaParse 团队发布 36 页 ArXiv 论文，介绍企业文档抽取基准 ExtractBench。该基准用 370 份企业文档、4869 页、67 种文档类型评估 14 套抽取系统。核心发现是：超过 50 页的长文档会让商业 VLM 召回率跌到 35% 以下，原因是静默截断表格行。ExtractBench 用价值准确率、空间溯源和单页成本等指标做确定性评测，不依赖 LLM 裁判。同时发布的 LlamaParse Agentic Plus 在榜单上取得 95.6% 价值准确率，成本不到最接近竞品的三分之一。
论文ExtractBenchLlamaParseAgentic Plus
事件专题
推荐理由：LlamaParse 发布 ExtractBench：长文档让商业模型召回崩到 35%；自家 Agentic Plus 95.6% 登顶，成本更低。
原文
00:27
00:27lmarena.ai@lmarena_ai
79°
xAI 推出 Grok 4.6，在 LMArena 的 WebDev 基准上以 1618 分排名第7。相较 Grok 4.5 的 1553 分（第13名）提升明显，且定价保持不变。目前 Grok 4.6 与 GPT-5.6 Sol xHigh（1622 分）和 Claude Fable 5（1627 分）仅差 4 到 9 分，三者同处第5至第7区间。
AI模型Grok 4.6xAILMArena
推荐理由：xAI 把 Grok 4.6 放出来了，网页开发能力直接冲到 LMArena 第7，跟 GPT-5.6 和 Claude 最新版就几分之差，这代提升挺猛。
原文
8月12日
19:32
18:22
18:22官方账号arXiv cs.LG@Shiqi Huang, Jiani He, Dingyan Shang, Yihua Xu, Jize Li, Yan Lyu, Lashimi Muraleedharan Nair
DACRI 研究提出 CriticalSCM-Bench v1，一个带因果真值的合成基准，用于评估供应链干预策略。相比全信息静态基准，LambdaMART 在中位归一化净值上提升 5.7% 至 16.2%，在半导体和关键材料场景有统计支持，但在数字基础设施上不如领域常量缓冲策略。部分和延迟信息下，LambdaMART 保留全信息价值的 33% 至 75%。压力测试显示干预保真度、时机、成本和未见过中断会改变策略排序，关键材料的外推保留最弱。540 次生成中的受保护解释研究在确定性验证和模板回退后保留了所有固定干预决策，但措辞不稳定。
论文DACRI供应链因果推断
推荐理由：这篇论文用合成基准测了不同干预策略在供应链里的实际效果，LambdaMART 在某些场景确实更优，但数字基础设施上简单策略反而更强，值得做决策的人看看。
原文