10:15官方账号arXiv cs.AI@Harihara Muralidharan, Reema Baskar, Soo Hee Lee, Tim Proctor, Kenny Workman研究人员推出了EpiBench,一个用于短周期表观基因组学分析的可验证基准测试。该基准包含106个评估任务,覆盖CUT&Tag/CUT&RUN、ATAC-seq、ChIP-seq和DNA甲基化等流程。在16个模型-工具组合的5088条有效轨迹中,没有系统通过大部分尝试:GPT-5.5/Pi以45.0%的通过率领先,GPT-5.5/OpenAI Codex以39.9%紧随其后。性能因检测类型而异,许多失败运行仍包含部分正确答案,但任务需要更深入的、检测特定的科学判断时,智能体往往失败。这表明当前AI在需要专业领域知识的复杂分析中仍有明显短板。论文基准测试表观基因组学AI智能体10 个信源在谈事件专题推荐理由:做基因组学分析的团队终于有了一个可复现的AI能力评估标准——EpiBench揭示了当前最强模型在专业科学判断上的天花板,做生物信息学工具开发或AI+生命科学研究的建议点开看看差距在哪。原文稍后读已读值得跟进有用关注 基准测试
09:48官方一手arXiv: DeepSeek@Pierre Beckmann, Marco Valentino, Andre Freitas精选SciR 是一个新的科学推理基准,专门评估大语言模型在科学场景下的演绎、归纳和因果推理能力。它通过从形式化对象(如演绎树、归纳规则假设、因果图)生成任务,确保答案可验证,再渲染成多文档科学文本。该基准独立控制两个难度轴:信息提取难度和推理本身难度,从而揭示模型在不同维度上的表现差异。测试六个模型后发现,两个难度轴都会降低模型性能,且效果叠加,即使是神经符号管道也受渲染影响。推理模型如DeepSeek-R1主要在推理轴上优于非推理指令模型。论文科学推理LLM评估基准测试推荐理由:做LLM评估和科学推理研究的团队终于有了一个能独立控制提取与推理难度的基准,可以精准诊断模型短板。想了解自家模型在科学推理上到底弱在哪,建议直接看这篇。原文稍后读已读值得跟进有用关注 科学推理
09:45官方一手arXiv: DeepSeek@Gabriel Diaz-Ireland, Diego Prieto-Herráez, Mario García Peces, Javier Velázquez, Devika JainGeoNatureAgent Benchmark 是首个针对环境分析智能体的基准测试,要求智能体通过结构化工具调用真实地理空间 API 完成任务。该基准包含 93 个任务,覆盖 18 个类别,如市政分析、多轮对话、空间推理、错误处理等,基于西班牙和葡萄牙的三个环境指标和 16 个工具进行评估。测试了 7 个 LLM(Claude Sonnet 4、DeepSeek V3.2 等),Claude Sonnet 4 以 60.8% 准确率领先,DeepSeek V3.2 以 56.3% 紧随其后,且成本仅为 Claude 的 1/11。比较类任务(如接近值比较)所有模型均为 0%,暴露了系统推理局限。该基准比通用 GIS 基准更具区分度,准确率低 25-35 个百分点。基准、测试工具和 API 均已开源。论文智能体地理空间分析基准测试推荐理由:做环境数据分析或地理空间智能体的开发者,这个基准能帮你快速验证模型在真实 API 调用场景下的能力,DeepSeek V3.2 的性价比值得一试。原文稍后读已读值得跟进有用关注 智能体
05:36Gary Marcus@GaryMarcusGary Marcus 转发了一项新研究,该研究提出了一个名为 SciConBench 的基准测试,包含 9.11k 个来自 Cochrane 系统评价的科学问题。测试发现,前沿 AI 智能体无法有效综合科学结论,这挑战了 AI 作为科学家的过度宣称。该研究由 Manoel Ribeiro 等人完成,结果对 AI 在科学领域的可靠性提出了质疑。论文AI 科学家SciConBench基准测试推荐理由:这项研究直接戳破了 AI 作为科学家的泡沫,做科研或依赖 AI 进行文献综述的团队值得一看,避免被过度宣传误导。原文稍后读已读值得跟进有用关注 AI 科学家
04:11Richard Socher@RichardSocherAndrej Karpathy 发布了一个新的 AI 基准测试,旨在评估从基础 Transformer 模型到高级 AI 系统的演进过程。该测试需要 AI 花费相当长的时间才能达到 Karpathy 的版本水平。这一基准测试可能用于衡量 AI 系统的复杂性和进步程度,对研究者和开发者具有重要参考价值。论文基准测试TransformerKarpathy推荐理由:Karpathy 的基准测试为 AI 开发者提供了一个衡量模型进化难度的新工具,做模型训练和评估的团队值得关注这个测试,看看自己的模型需要多久才能达到高级水平。原文稍后读已读值得跟进有用关注 基准测试
02:13OpenRouter@OpenRouterAIOpenRouter 在其排行榜中新增了基准测试探索器,支持对 10 个不同基准测试绘制帕累托曲线。用户可以通过该工具直观比较不同模型在性能与成本之间的权衡,包括 Artificial Analysis 和 Design Arena 等基准。这为开发者选择模型提供了更全面的决策依据,尤其适合需要平衡效果与预算的场景。AI产品基准测试模型比较帕累托曲线推荐理由:做模型选型或成本优化的开发者终于有了可视化工具——帕累托曲线直接帮你找到性价比最优解,建议打开 Benchmark Explorer 试试。原文稍后读已读值得跟进有用关注 基准测试
01:11OpenRouter@OpenRouterAIOpenRouter 发布了新的基准测试探索器,允许用户绘制 10 个不同基准的帕累托曲线。该工具整合了包括 @ArtificialAnlys 和 @Designarena 在内的多个基准数据,帮助用户直观比较模型性能与成本之间的权衡。这对于评估和选择 AI 模型具有实用价值,尤其适合需要平衡性能与预算的开发者。用户可以通过 openrouter.ai/rankings#bench… 直接访问该工具。AI产品基准测试帕累托曲线模型评估推荐理由:OpenRouter 的基准探索器让模型选型从凭感觉变成看数据,做模型评估或成本优化的团队可以直接用帕累托曲线挑出性价比最高的模型。原文稍后读已读值得跟进有用关注 基准测试
22:28Qdrant@qdrant_engineQdrant 发布了一项基准测试,比较了两种方法:直接将大量上下文发送给 LLM,以及使用 Qdrant 的两步检索管道仅获取最相关信息。结果显示,更大的上下文窗口会增加成本和延迟,而检索有助于减少 LLM 所需的上下文量,同时保持答案质量。随着上下文窗口的增长,检索不会消失,反而对效率、可扩展性和控制变得更加重要。AI产品向量搜索Qdrant检索增强生成推荐理由:做 RAG 或向量搜索的团队会关心这个关键权衡——大上下文窗口并非万能,检索仍是降本增效的核心手段,建议点开看具体数据。原文稍后读已读值得跟进有用关注 向量搜索
17:59AI Will@FinanceYF5Claude 在波音 747 基准测试中表现出色,被部分观察者认为已达到 AGI(通用人工智能)水平。该基准测试通常用于评估 AI 在复杂工程任务上的能力,Claude 的表现引发了广泛讨论。这一进展表明 AI 在特定领域的能力可能已接近或超越人类专家。AI模型ClaudeAGI基准测试推荐理由:关注 AI 能力边界的读者会感兴趣——Claude 在工程基准上的突破可能重新定义 AGI 的标准,值得点开看看具体测试细节。原文稍后读已读值得跟进有用关注 Claude
12:35官方账号arXiv cs.AI@Selen Erkan, Bastian Boll, Kristian Kersting, Björn Deiseroth, Letitia Parcalabescu精选论文指出传统基准测试常因格式要求而低估基础模型的知识水平,因为基础模型缺乏后训练带来的格式遵循能力。作者提出软提示调优(soft-prompt tuning),仅优化10个软提示向量(约7B模型参数的0.0006%),在80步(约640样本)内即可让模型适应基准格式,从而准确反映其真实知识。实验覆盖7个模型和7个数据集,结果显示该方法显著优于零样本和少样本提示,甚至能提升后训练模型的格式合规性。软提示调优后的基础模型性能可更可靠地预测后训练模型的排名,为早期预训练策略选择提供低成本代理。论文软提示调优LLM评估基准测试推荐理由:做LLM评估的团队终于有了一个公平且高效的基准测试方案——只需微调极少量参数就能剥离格式干扰,直接测出模型真实知识水平。做预训练或模型选型的开发者值得一试,能省下大量后训练成本。原文稍后读已读值得跟进有用关注 软提示调优
11:56官方账号arXiv cs.LG@Mengyu Zheng, Kai Han, Boxun Li, Haiyang Xu, Yuchuan Tian, Wei He, Hang Zhou, Jianyuan Guo, Hailin Hu, Lin Ma, Chao Xu, Guohao Dai, Lixue Xia, Yunchao Wei, Yunhe Wang, Yu Wang精选通用智能体(如OpenClaw)在编程任务上的表现难以用现有SWE-bench准确衡量,因为其不满足Docker工作区、补丁和预测合约要求。为此,研究者推出了Claw-SWE-Bench,一个多语言基准测试和适配器协议,能在固定提示、预算、工作区等公平条件下比较不同智能体框架。该基准包含350个GitHub问题实例,覆盖8种语言和43个仓库,并提供了80实例的轻量版Lite用于快速验证。实验显示,OpenClaw在直接适配器下仅得19.1% Pass@1,而完整适配器可达73.4%,表明适配器设计对编程任务至关重要。该基准将框架和成本作为评估核心维度,数据已开源。论文基准测试编程智能体OpenClaw1 个信源在谈事件专题推荐理由:做智能体编程评估的团队终于有了公平比较的基准——Claw-SWE-Bench解决了不同框架无法直接对比的痛点,建议做Agent评估的开发者直接用它来测试自己的适配器设计。原文稍后读已读值得跟进有用关注 基准测试
11:34Browser Use@browser_useClaude Fable 在 BU Bench 基准测试中取得了最高分,成为目前测试中完成在线任务表现最好的模型。然而,其运行成本也最高,完成整个基准测试需要花费 580.87 美元。这一结果凸显了高性能 AI 模型在实用性与经济性之间的权衡,对于需要高精度自动化任务的团队来说,成本是一个关键考量因素。AI模型Claude FableBU Bench基准测试推荐理由:如果你在寻找能高效完成在线任务的 AI 模型,Claude Fable 的表现值得关注,但高昂的成本意味着你需要权衡投入产出比。做自动化测试或任务编排的团队可以点开看看具体数据。原文稍后读已读值得跟进有用关注 Claude Fable
10:53官方账号arXiv cs.AI@Sukmin Seo, Geewook Kim精选该研究指出,在小时级长视频中,自然语言时间定位(Temporal Grounding)的核心瓶颈是搜索而非识别。现有视频大模型(Video-LLMs)在短片上表现良好,但在小时级视频中因无法高效搜索相关区域而崩溃。作者发布了首个开放域小时级时间定位基准 ExtremeWhenBench(194个视频,平均75.7分钟,最长9小时,2273条查询),发现所有开源 Video-LLM 均不如简单的帧级检索基线。失败分析显示85%的错误源于搜索失败,而“检索-定位”混合方法比单一 Video-LLM 提升6.7倍,类似于开放域问答中的“检索-阅读”范式。论文时间定位长视频理解检索-定位推荐理由:做长视频理解或视频检索的开发者会发现,当前 Video-LLM 在小时级视频上几乎不可用,而简单的检索基线反而更有效——这个反直觉结论值得点开看看,或许能帮你重新设计系统架构。原文稍后读已读值得跟进有用关注 时间定位
10:10官方账号arXiv cs.LG@Zhen Zhang, Alessandro Alla, George Em Karniadakis精选该研究对偏微分方程约束逆问题中的伴随优化方法和物理信息神经网络进行了公平对比。通过统一抽象公式、匹配优化器、参数化及精度,在多个基准测试(如非稳态Burgers方程、噪声Darcy渗透率反演、三维Allen-Cahn反应识别、非稳态Navier-Stokes粘度识别)中评估两者性能。结果表明,未知参数的表示形式决定方法优劣:网格基场适合离散伴随,而神经表示是PINN的天然优势。对于时间依赖问题,伴随方法受轨迹存储和微分成本制约,而PINN能以更低成本获得满意重建。PINN热启动伴随策略能以大幅降低的成本恢复伴随级精度。论文伴随方法物理信息神经网络PDE约束逆问题推荐理由:做计算力学和逆问题研究的团队,这篇论文帮你省去选择方法的纠结——它给出了伴随法和PINN在不同场景下的明确优劣边界,看完可以直接指导你的实验设计。原文稍后读已读值得跟进有用关注 伴随方法
08:53rohanpaul_ai@rohanpaul_ai精选72°一篇新论文提出“Agents' Last Exam”基准测试,要求AI智能体完成来自55个数字工作领域的真实专家任务,包括工程、金融、医学、法律、媒体和科学。测试发现,当前最强的智能体系统在最难任务上的平均完全通过率仅为2.6%,远低于其基准分数所暗示的水平。该基准强调从“能否回答难题”转向“能否完成人们付费做的工作”,使用自动检查或严格评分标准而非主观评判。结果表明,基准测试的成功尚未转化为广泛的工作场所能力,智能体在真实自动化中仍不可靠。论文智能体基准测试真实工作推荐理由:这篇论文戳破了AI基准测试的泡沫——高分不等于能干实事。做AI自动化部署的团队、评估智能体能力的开发者,看完会重新审视自己的测试标准,建议点开看看真实工作场景的差距。原文稍后读已读值得跟进有用关注 智能体
22:18IT之家(博客/媒体)精选AMD 在 SPEC CPU 2017 基准测试中,以 100kW 机柜功耗为限制,展示了新一代 256 核 EPYC Venice 处理器的性能。以英伟达 88 核 Vera 处理器的得分为 1.0 基准,Intel 128 核至强 6980P 得分为 1.46,上代 192 核 EPYC Turin 得分为 2.37,而 Venice 得分达到 3.30,约为 Vera 的三倍多。单核性能方面,256 核 Venice 相比 Vera 有 27% 优势,但降档至 96 核版本时优势缩至 11%。AMD 强调数据中心客户更关注固定功耗机柜的实际性能,而非单芯片峰值。AI模型AMDVeniceEPYC推荐理由:AMD Venice性能碾压对手原文稍后读已读值得跟进有用关注 AMD
16:39coderabbitai@coderabbitai精选CodeRabbit 团队对 Fable 5 进行了 105 次代码审查基准测试,结果显示其在代码覆盖方面接近人类水平,但精度较低,共提交了 253 条评论。这表明 Fable 5 在代码构建方面表现出色,但在代码审查时噪音较多。该测试为开发者提供了关于 AI 代码审查工具实际性能的参考。AI产品Fable 5代码审查基准测试10 个信源在谈事件专题推荐理由:做代码审查的团队可以看看 Fable 5 的实际表现——覆盖不错但噪音多,适合快速发现潜在问题,但需要人工过滤。建议点开了解具体数据。原文稍后读已读值得跟进有用关注 Fable 5
11:59官方账号arXiv cs.AI@George Perrett, Javae Elliott, Jennifer Hill, Marc Scott精选一篇新论文指出,当前LLM基准测试存在局限性,常基于训练数据中的内容评估性能,且未充分衡量可靠性和错误严重程度。研究者设计了一个需要编写代码完成数据分析任务的新基准,对比前沿LLM与人类专家的表现。结果显示,人类专家在多项指标上平均表现更好,且性能波动更小。该研究为LLM并非始终达到人类专家水平提供了证据,并强调了在基准评估中测量方差和错误严重程度的重要性。论文LLM基准测试人类专家推荐理由:这篇论文戳破了LLM“达到人类专家水平”的常见叙事,做AI评估或依赖LLM做高精度任务的团队值得细读,看完会对基准测试的可靠性有更深思考。原文稍后读已读值得跟进有用关注 LLM
11:44Cognition@cognition_labs精选76°Devin 平台现已集成 Claude Fable 5 模型,该模型在 FrontierCode 基准测试中排名第一。FrontierCode 是评估真实工程任务中代码合并性和质量的基准。这一更新意味着开发者可以在 Devin 中使用当前最强的代码生成模型之一,提升自动化编程效率。AI产品DevinClaude Fable 5代码生成10 个信源在谈事件专题推荐理由:对于使用 Devin 做自动化编程的团队,Fable 5 的集成直接提升了代码质量和合并成功率,值得立即体验。原文稍后读已读值得跟进有用关注 Devin
11:31官方账号arXiv cs.AI@Haeji Jung, Hila Gonen精选72°研究者推出 PhantomBench,这是首个专门评估语言模型对“不存在概念”识别能力的基准,包含超过6万个从真实领域衍生的虚构术语和实体。测试了21个不同规模和类型的模型,发现平均幻觉率高达86.7%,即使是前沿模型在面对预设存在的输入时也几乎无法拒绝回答。该基准可作为研究模型在罕见概念上幻觉行为的代理工具,并提供了可扩展的构建流程。这项工作揭示了模型知识边界认知的严重缺陷,对高风险应用场景构成警示。论文幻觉基准测试模型评估推荐理由:做AI安全或模型评估的团队,这个基准直接戳中了当前模型最致命的弱点——它们连“不存在的东西”都分不清,建议用PhantomBench测测自家模型。原文稍后读已读值得跟进有用关注 幻觉
11:10Jerry Liu@jerryjliu0精选LlamaIndex 创始人 Jerry Liu 在 X 上发布了对 Claude Fable 5 的 ParseBench 基准测试结果。该模型在推理密集型任务(如 SWE-Bench Pro、FrontierCode)上表现卓越,但在文档理解任务上仅与 Gemini 3 Flash 相当,而 token 成本却高出 10-15 倍。有趣的是,模型自身似乎也意识到这一点,在被问及最不喜欢的任务时,它表示不喜欢“请求完全明确、答案完全已知”的任务,暗示其表现不佳部分源于“懒惰”和缺乏意愿。尽管在内容忠实度(90.02%)和语义格式化(72.62%)上领先,但整体仍远逊于专业 OCR 提供商。AI模型Claude Fable 5文档理解ParseBench10 个信源在谈事件专题推荐理由:做文档解析或 RAG 的团队注意了——Claude Fable 5 在推理上很强,但文档理解性价比不如 Gemini 3 Flash,甚至不如专业 OCR 服务。如果你在选模型做文档处理,这篇评测能帮你省下 10 倍 token 成本,值得点开对比。原文稍后读已读值得跟进有用关注 Claude Fable 5
10:32官方账号arXiv cs.LG@Zach Moczkodan, Hany Ragab该研究重新评估了 Transformer 等时序架构在网络入侵检测中的真实效果,发现其性能提升主要来自 padding 方式而非架构本身。在无 padding 的真实序列上,Transformer 的 macro-F1 达 0.89,但零填充掩码评估下骤降 0.24,而 LSTM、GRU 和 1D-CNN 保持稳定。在无泄漏分组评估中,随机森林最稳健,Transformer 的误报率从 0.04% 升至 2.7%,增加 67 倍。研究呼吁采用无泄漏分割、明确 padding 披露和序列感知基准测试作为标准实践。论文入侵检测Transformer时序评估推荐理由:这篇论文戳破了 Transformer 在入侵检测中“近乎完美”的假象——做网络安全 AI 研究的团队,尤其是依赖 CIC-IDS2017 基准的,建议仔细看 padding 和分割协议的影响,否则你的模型评估可能虚高 0.24 macro-F1。原文稍后读已读值得跟进有用关注 入侵检测
10:30官方一手arXiv: OpenAI@Andrew Bo Liu, Samira Nedungadi, Bryce Cai, Alex Kleinman, Harmon Bhasin, Seth Donoughe72°ABC-Bench(Agentic Bio-Capabilities Benchmark)是一个用于评估大型语言模型智能体在生物安全相关任务上能力的基准测试套件。它包含三类任务:编写代码操作液体处理机器人、设计用于体外组装的DNA片段、以及规避DNA合成筛选。所有测试的LLM智能体在三项任务上均超过了人类专家基线水平,但在需要新颖生物信息推理的任务上表现较弱。湿实验验证显示,OpenAI的o4-mini-high模型生成的脚本成功在OpenTrons机器人上组装出预期序列的DNA。该基准旨在量化AI在生物研究中的双刃剑效应——既推动科学进步,也带来新的生物安全风险。论文生物安全LLM智能体基准测试7 个信源在谈事件专题推荐理由:这是首个系统评估LLM智能体在生物安全关键任务上能力的基准,做AI安全或生物计算的研究者值得关注——它揭示了当前模型在复制已知协议时很强,但在创新推理上仍有短板。原文稍后读已读值得跟进有用关注 生物安全
10:03Scott Wu@ScottWu4676°在 FrontierCode 基准发布仅一天后,Cognition 的 Claude Fable 5 模型即成为新的最高分获得者,尤其在最具挑战性的任务上表现突出。在 FrontierCode Diamond 子集上,Fable 5 得分从 13.4% 跃升至 29.3%,远超 Opus 的 4.8%。该基准专注于真实世界的工程任务,评估代码的可合并性和质量。Fable 5 现已可在 Devin 中使用,为开发者提供更强的编程辅助能力。AI模型Claude Fable 5FrontierCode基准测试10 个信源在谈事件专题推荐理由:Claude Fable 5 在真实工程任务基准上碾压 Opus,做复杂代码合并的开发者可以直接在 Devin 中体验,效率提升立竿见影。原文稍后读已读值得跟进有用关注 Claude Fable 5
06:47berryxia@berryxia91°Anthropic 未发布传闻中的 Mythos 模型,但推出了其安全版本 Claude Fable 5。该模型在软件工程、知识工作、科研和视觉等基准测试中几乎全线 SOTA,尤其在长任务上表现突出。为保障安全,模型在 cyber、生物化学等敏感领域会自动降级到 Opus 4.8,平均每 20 次对话触发一次。同时,Anthropic 向少数可信的网络安全和关键基础设施团队开放了完全版 Mythos 5,并计划逐步扩大访问。此举打破了“越强越危险”的固有观念,展示了能力与安全可兼得。AI模型Claude Fable 5Anthropic安全模型10 个信源在谈事件专题推荐理由:Anthropic 用 Fable 5 证明了顶级 AI 不必在能力与安全间二选一,做 AI 安全或前沿模型应用的开发者值得关注这套精准 safeguard 方案。原文稍后读已读值得跟进有用关注 Claude Fable 5
04:32官方一手Hugging Face: Blog(博客/媒体)ServiceNow AI 发布了一项针对前沿自动语音识别(ASR)模型在代码切换语音上的基准测试。代码切换指说话者在同一句话中混合使用两种语言,这在多语言用户中很常见。测试发现,当前最先进的ASR模型在处理这种混合语言时表现不佳,错误率显著高于单语言场景。该研究强调了构建能理解双语用户的语音代理的挑战,并提供了公开基准供开发者评估和改进模型。这对于开发面向多语言市场的语音助手和客服系统至关重要。论文语音代理ASR代码切换1 个信源在谈事件专题推荐理由:做语音助手或客服系统的团队会发现,当前ASR模型在双语用户面前漏洞百出——代码切换场景的错误率远高于单语言,这个基准测试直接暴露了痛点,建议点开看看你的模型能否过关。原文稍后读已读值得跟进有用关注 语音代理
02:54Lenny Rachitsky@lennysanClaude 的 Fable 5 模型在几乎所有测试基准上达到最先进水平,尤其在软件工程、知识工作、科学研究和视觉任务中表现突出。任务越长越复杂,Fable 5 相对于其他模型的领先优势越大。该模型在单次交互中即可完成《波斯王子》游戏,展示了其强大的推理和规划能力。这标志着 AI 在复杂长任务处理上的重要进步。AI模型ClaudeFable 5基准测试10 个信源在谈事件专题推荐理由:做复杂软件工程或科学研究的团队,Fable 5 的长任务处理能力值得一试,能显著提升效率。原文稍后读已读值得跟进有用关注 Claude
02:14Mike Krieger@mikeyk88°Anthropic CEO Mikey K. 在X上宣布,Claude新模型在几乎所有测试基准上达到最先进水平,且任务越长领先优势越大。该模型已通过安全审查,针对网络和生物相关请求会透明地回退到Opus 4.8,95%以上的会话不会触发此类回退。API定价为$10/$50,并已包含在付费Claude计划中。AI模型Claude推理模型安全10 个信源在谈事件专题推荐理由:Claude新模型在长任务场景下表现突出,做复杂推理或长文档处理的开发者可以直接在API或付费计划中体验,值得关注。原文稍后读已读值得跟进有用关注 Claude
01:18AK@_akhaliqSWE-Explore 是一个新发布的基准测试,专门用于评估 AI 编程代理在代码仓库中的探索能力。该基准测试衡量代理如何理解仓库结构、定位相关文件以及获取上下文信息,这对于解决复杂编程任务至关重要。它填补了现有基准测试只关注最终代码生成而忽略探索过程的空白。开发者可以使用 SWE-Explore 来测试和改进他们的编程代理在大型代码库中的导航和推理能力。论文编程代理基准测试仓库探索推荐理由:SWE-Explore 解决了编程代理在真实仓库中“迷路”的痛点,做 AI 编程工具或智能体的团队可以直接用它来评估和优化代理的探索能力,值得关注。原文稍后读已读值得跟进有用关注 编程代理
20:32rohanpaul_ai@rohanpaul_ai72°Cognition 推出 FrontierCode 编码基准测试,评估 AI 生成的代码是否达到人类维护者愿意合并的质量,而不仅仅是能否通过测试。该基准包含 150 个任务,由 20 多位开源维护者设计,每个任务耗时超 40 小时。结果显示,最强模型 Claude Opus 4.8 在最高难度 Diamond 子集上仅得 13.4%,GPT-5.5 得 6.3%,Gemini 3.1 Pro 得 4.7%。评分系统引入“阻塞项”机制,任何导致无法合并的问题(如行为错误、不安全改动)直接判 0 分,通过后才按可读性、类型安全等软质量项加权。这揭示了当前 AI 编程助手在代码设计、约束和项目风格适配上的严重不足。AI产品基准测试代码质量Claude Opus 4.83 个信源在谈事件专题推荐理由:FrontierCode 把 AI 编程评测从「能跑就行」升级到「能合并才算数」,做代码质量评估或 AI 编程工具的团队值得关注——它暴露了当前模型在真实代码审查中的致命短板。原文稍后读已读值得跟进有用关注 基准测试
13:05官方账号arXiv cs.AI@Avijit Ghosh, Anka Reuel, Jenny Chim, Wm. Matthew Kennedy, Srishti Yadav, Jennifer Mickel, Yanan Long, Andrew Tran, Anastassia Kornilova, Damian Stachura, Kevin Klyman, Felix Friedrich, Jeba Sania, Max Lamparth, Jan Batzner, Anoop Mishra, Eliya Habba, Yixiong Hao, Nathan Heath, Shalaleh Rismani, Usman Gohar, Andrea Loehr, David Manheim, Ruchira Dhar, Sree Harsha Nelaturu, Aarush Sinha, Leshem Choshen, Drishti Sharma, Ishan Khire, Amit Saha, Subramanyam Sahoo, Michael Hardy, Michael Alexander Riegler, Kabir Manghnani, Michelle Lin, Yanan Jiang, Yilin Huang, Asaf Yehudai, Jessica Ji, Aris Hofmann, Mubashara Akhtar, Nuno Moniz, Yacine Jernite, Stella Biderman, Zeerak Talat, Sanmi Koyejo, Mykel Kochenderfer, Irene SolaimanAI评估结果虽大量产生,但报告格式不统一,导致读者难以跨来源比较、识别遗漏或追溯证据。现有方案仅覆盖评估生命周期的片段,缺乏统一记录,且未区分不同利益相关者的需求。研究者提出了EvalCards,一个可操作的报告层,整合基准元数据、评估运行数据和模型元数据。他们从52篇论文和10次访谈中推导出报告模式,实现了四个解释信号(可复现性、文档完整性、来源与风险、分数可比性),并针对研究与非研究受众设计了阅读模式。该工具已在5816个模型、635个基准和101843个结果上部署,揭示了当前报告实践中的系统性缺陷。论文评估报告可解释性基准测试推荐理由:AI评估报告混乱是行业痛点,做模型评测、写技术文档或选型决策的团队,可以直接用EvalCards统一报告格式,减少误解和重复劳动。原文稍后读已读值得跟进有用关注 评估报告
12:35官方账号arXiv cs.LG@Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov精选72°苹果智能体需要理解用户身份、历史与偏好,但现有基准缺乏个性化。研究团队推出iOSWorld,首个基于原生iOS模拟器的交互式基准,包含26个新应用、133个任务,覆盖单应用、多应用及记忆与个性化三类。最佳模型(GPT-4o)整体准确率52%,多应用任务仅37%;加入XML辅助后大模型提升26个百分点,小模型无增益。该基准已开源,旨在推动真正个性化的手机智能体发展。论文智能体基准测试iOS推荐理由:手机智能体开发者终于有了能测试个性化能力的基准——iOSWorld要求模型理解用户身份与历史,而非仅执行孤立指令,做移动端AI Agent的团队值得关注。原文稍后读已读值得跟进有用关注 智能体
11:48官方账号arXiv cs.AI@Hongcheng Gao, Hailong Qu, Jingyi Tang, Jiahao Wang, Zihao Huang, Hengkang Qiao, Shihong Huang, Junming Yang, Yi Li, Hongyixuan Yuan, Wenjie Li, Bohan Zeng, Wenbo Li, Bo Wang, Jianhui Liu, Olive Huang, Haoyang Huang, Wentao Zhang, Guoqing Huang, Nan Duan, Yinpeng Dong精选多模态大模型在物理世界中的空间推理能力至关重要,但现有基准多依赖静态问答或特定模拟器,无法评估真实交互场景。研究者提出SpatialWorld,一个统一基准,整合8种异构仿真后端,包含760个人工标注任务,覆盖家务、旅行、社交协作等领域。智能体需在仅视觉部分可观测条件下主动收集证据,并通过统一文本接口做出决策。评估15个先进智能体发现,最强模型GPT-5平均任务成功率仅17.4%,开源模型Qwen-3.5为14.1%,表明主动探索和长程规划仍是瓶颈。论文空间推理多模态大模型基准测试1 个信源在谈事件专题推荐理由:做多模态智能体或空间推理研究的团队,这个基准直接暴露了当前模型在真实交互任务上的短板——GPT-5都只有17.4%成功率,值得用来检验自家模型。原文稍后读已读值得跟进有用关注 空间推理
11:04官方账号arXiv cs.LG@Apratim Bhattacharyya, Shweta Mahajan, Sanjay Haresh, Rajeev Yasarla, Reza Pourreza, Litian Liu, Risheek Garrepalli, Roland Memisevic精选研究人员提出了 Ego-MC-Bench 基准测试,用于评估视频大语言模型在实时任务指导中主动干预纠错的能力。该基准聚焦于烹饪场景,要求模型在用户犯错时及时介入。实验表明,当前最先进的视频 LLM 在此任务上表现不佳,主要原因是缺乏包含错误和适时干预的训练数据。为此,团队还创建了 Ego-CoMist 合成数据集,通过将非交互式烹饪视频转化为带干预的监督示例。微调该数据集后,小型高效视频 LLM 的性能显著提升,适合部署在边缘设备上提供实时辅助。论文视频大模型实时干预烹饪场景推荐理由:这项研究直击视频 AI 助手的核心痛点——实时纠错能力,做智能烹饪指导或边缘 AI 应用的开发者值得关注,Ego-CoMist 数据集可以直接用于微调模型。原文稍后读已读值得跟进有用关注 视频大模型
09:26官方一手arXiv: DeepSeek@Zhiwei Liu, Yueru He, Qing Ou, Tianlei Zhu, Xiaorui Guo, Xueqing Peng, Sophia Ananiadou精选现有金融审计基准主要关注事实验证和规则合规,但缺乏对误导性披露叙述的评估。研究者推出 AuditFraudBench,基于真实公司文件和监管材料构建,包含利润来源归因、误导性叙述检测和欺诈模式分类三个任务。测试 GPT、DeepSeek、Qwen 等模型发现,无论是闭源还是开源模型,在联合推理财务数据、披露框架、重述证据和执法欺诈机制方面仍表现不佳。该基准为评估 LLM 在财务报告中的审计相关能力提供了具有挑战性的测试平台。论文审计财务欺诈检测LLM 评估推荐理由:审计和财务分析从业者终于有了一个专门评估 LLM 识别财务造假的基准——AuditFraudBench 直击现有模型在误导性披露和欺诈模式上的短板,做金融 NLP 或审计自动化的团队值得用它来检验自己的模型。原文稍后读已读值得跟进有用关注 审计
02:18rohanpaul_ai@rohanpaul_ai精选72°一篇新论文提出CL-BENCH基准,测试AI智能体是否真正从经验中学习,而非仅依赖记忆。研究发现,简单的全上下文学习优于专门的记忆系统,Claude Sonnet 4.6在纯上下文模式下取得最佳成绩。该基准涵盖编码、数据库、预测等6个领域,要求智能体在连续任务中发现模式。结果表明,当前记忆密集型AI智能体并未比保持完整对话上下文更可靠地学习。这提醒我们,长期运行的AI智能体需要更好的方式来记住有用经验、遗忘过时信息并适应环境变化。论文智能体基准测试持续学习推荐理由:这篇论文戳破了AI智能体“越用越聪明”的幻觉,做智能体开发或长期任务自动化的团队值得看看——你的系统可能只是在记笔记,而不是真在学习。原文稍后读已读值得跟进有用关注 智能体
01:42Thomas Wolf@Thom_Wolf精选72°Hugging Face 与 Mecado 合作推出 CADGenBench,一个用于评估 AI 生成和编辑 CAD 模型的基准测试。该基准测试包含两个任务:从工程图纸生成有效的 3D CAD 模型,以及根据变更请求编辑 STEP 文件。它不依赖特定工具,支持 Fusion、Onshape、build123d、SolidWorks 等多种 CAD 软件,提交格式统一为 STEP 文件。评分维度包括几何精度、拓扑正确性、接口兼容性和 CAD 有效性。基准测试已开源,排行榜实时更新,旨在推动 AI 在工程领域的精确应用。AI产品CAD基准测试工程图纸推荐理由:AI 终于开始认真对待工程图纸了——CADGenBench 为评估 AI 生成精确 3D 零件提供了标准化工具,做 CAD 开发或工程自动化的团队可以直接用这个基准测试来验证自己的模型。原文稍后读已读值得跟进有用关注 CAD
11:35rohanpaul_ai@rohanpaul_ai精选72°斯坦福、MIT、NVIDIA、Google 等顶尖实验室联合发布 AutoLab 基准测试,包含 36 个任务,要求智能体从弱代码出发,在固定时间内改进。测试 17 个强模型后发现,最佳结果并非源于初始想法好,而是模型持续测试、利用反馈。Claude Opus 4.6 因坚持迭代而领先,其他前沿模型常因过早放弃或过度思考而失败。该研究揭示了当前 AI 智能体在长周期研究中的关键短板。论文智能体基准测试长周期研究10 个信源在谈事件专题推荐理由:做 AI 研究和智能体开发的团队会看到,坚持比聪明更重要——AutoLab 的发现直接点出了当前智能体在长任务中的致命弱点,值得反思自己的智能体设计。原文稍后读已读值得跟进有用关注 智能体
11:20官方账号arXiv cs.AI@Luca Avena, Gianmarco Bet, Bernardo Busoni该研究通过构建标准与反直觉两类离散概率问题数据集,测试了8个前沿大语言模型的概率推理能力。模型在标准问题上平均准确率达0.96,但在反直觉问题上骤降至0.59。研究还发现token偏差:将规范表述替换为伪装变体后性能下降超20%;在提示中嵌入误导性建议可使性能下降高达34%,且没有模型能免疫。结果表明,尽管LLM在高级数学问题上表现出色,但它们并非真正的概率推理者。论文大语言模型概率推理基准测试推荐理由:想用LLM做决策或数据分析的开发者注意了——模型在概率推理上存在系统性漏洞,反直觉问题和提示误导能轻易让它翻车,建议点开看看测试细节,避免在实际应用中踩坑。原文稍后读已读值得跟进有用关注 大语言模型
09:33官方账号arXiv cs.AI@Jiayu Wang, Weijiang Lv, Bowen Fu, Jing Fu, Jiayi Song, Lingyu Zhang, Lanxuan Xue, Luodi Chen, Zepeng Xin, Kaiyu Li, Xiangyong Cao随着基础模型和智能体框架的进步,AI 在研究任务中展现出强大能力,但仍无法完全替代人类研究人员。为此,研究者提出了 AARR(Act As a Real Researcher)基准系列,首个基准 AARRI-Bench 专注于评估智能体在细粒度研究场景中的专业性、严谨性和推理能力。实验显示,最佳配置(Mini-SWE-Agent 搭配 Claude Opus 4.7)仅达到 68.3% 的成功率,常忽略人类研究者能轻易察觉的细微关键细节。结果表明,开发类人研究 AI 需要更深入地探索研究行为,而非仅依赖复杂框架。数据已开源。论文基准测试LLM智能体推荐理由:这个基准直击当前 AI 智能体在研究场景中的短板——不是执行能力不够,而是缺乏研究者的细腻判断。做 AI 评估或智能体开发的团队值得关注,它揭示了提升 AI 研究素养的新方向。原文稍后读已读值得跟进有用关注 基准测试