AITOP

基准测试

共 258 条相关 AI 资讯 · 查看话题观测
6月11日
11:34
10:53
10:53官方账号arXiv cs.AI@Sukmin Seo, Geewook Kim
精选
该研究指出，在小时级长视频中，自然语言时间定位（Temporal Grounding）的核心瓶颈是搜索而非识别。现有视频大模型（Video-LLMs）在短片上表现良好，但在小时级视频中因无法高效搜索相关区域而崩溃。作者发布了首个开放域小时级时间定位基准 ExtremeWhenBench（194个视频，平均75.7分钟，最长9小时，2273条查询），发现所有开源 Video-LLM 均不如简单的帧级检索基线。失败分析显示85%的错误源于搜索失败，而“检索-定位”混合方法比单一 Video-LLM 提升6.7倍，类似于开放域问答中的“检索-阅读”范式。
论文时间定位长视频理解检索-定位Video-LLM基准测试
推荐理由：做长视频理解或视频检索的开发者会发现，当前 Video-LLM 在小时级视频上几乎不可用，而简单的检索基线反而更有效——这个反直觉结论值得点开看看，或许能帮你重新设计系统架构。
原文
10:10
10:10官方账号arXiv cs.LG@Zhen Zhang, Alessandro Alla, George Em Karniadakis
精选
该研究对偏微分方程约束逆问题中的伴随优化方法和物理信息神经网络进行了公平对比。通过统一抽象公式、匹配优化器、参数化及精度，在多个基准测试（如非稳态Burgers方程、噪声Darcy渗透率反演、三维Allen-Cahn反应识别、非稳态Navier-Stokes粘度识别）中评估两者性能。结果表明，未知参数的表示形式决定方法优劣：网格基场适合离散伴随，而神经表示是PINN的天然优势。对于时间依赖问题，伴随方法受轨迹存储和微分成本制约，而PINN能以更低成本获得满意重建。PINN热启动伴随策略能以大幅降低的成本恢复伴随级精度。
论文伴随方法物理信息神经网络PDE约束逆问题计算力学基准测试
推荐理由：做计算力学和逆问题研究的团队，这篇论文帮你省去选择方法的纠结——它给出了伴随法和PINN在不同场景下的明确优劣边界，看完可以直接指导你的实验设计。
原文
08:53
08:53rohanpaul_ai@rohanpaul_ai
精选72°
一篇新论文提出“Agents' Last Exam”基准测试，要求AI智能体完成来自55个数字工作领域的真实专家任务，包括工程、金融、医学、法律、媒体和科学。测试发现，当前最强的智能体系统在最难任务上的平均完全通过率仅为2.6%，远低于其基准分数所暗示的水平。该基准强调从“能否回答难题”转向“能否完成人们付费做的工作”，使用自动检查或严格评分标准而非主观评判。结果表明，基准测试的成功尚未转化为广泛的工作场所能力，智能体在真实自动化中仍不可靠。
论文智能体基准测试真实工作自动化评估标准
推荐理由：这篇论文戳破了AI基准测试的泡沫——高分不等于能干实事。做AI自动化部署的团队、评估智能体能力的开发者，看完会重新审视自己的测试标准，建议点开看看真实工作场景的差距。
原文
6月10日
22:18
16:39
11:59
11:59官方账号arXiv cs.AI@George Perrett, Javae Elliott, Jennifer Hill, Marc Scott
精选
一篇新论文指出，当前LLM基准测试存在局限性，常基于训练数据中的内容评估性能，且未充分衡量可靠性和错误严重程度。研究者设计了一个需要编写代码完成数据分析任务的新基准，对比前沿LLM与人类专家的表现。结果显示，人类专家在多项指标上平均表现更好，且性能波动更小。该研究为LLM并非始终达到人类专家水平提供了证据，并强调了在基准评估中测量方差和错误严重程度的重要性。
论文LLM基准测试人类专家可靠性代码生成
推荐理由：这篇论文戳破了LLM“达到人类专家水平”的常见叙事，做AI评估或依赖LLM做高精度任务的团队值得细读，看完会对基准测试的可靠性有更深思考。
原文
11:44
11:31
11:31官方账号arXiv cs.AI@Haeji Jung, Hila Gonen
精选72°
研究者推出 PhantomBench，这是首个专门评估语言模型对“不存在概念”识别能力的基准，包含超过6万个从真实领域衍生的虚构术语和实体。测试了21个不同规模和类型的模型，发现平均幻觉率高达86.7%，即使是前沿模型在面对预设存在的输入时也几乎无法拒绝回答。该基准可作为研究模型在罕见概念上幻觉行为的代理工具，并提供了可扩展的构建流程。这项工作揭示了模型知识边界认知的严重缺陷，对高风险应用场景构成警示。
论文幻觉基准测试模型评估知识边界AI安全
推荐理由：做AI安全或模型评估的团队，这个基准直接戳中了当前模型最致命的弱点——它们连“不存在的东西”都分不清，建议用PhantomBench测测自家模型。
原文
11:10
11:10Jerry Liu@jerryjliu0
精选
LlamaIndex 创始人 Jerry Liu 在 X 上发布了对 Claude Fable 5 的 ParseBench 基准测试结果。该模型在推理密集型任务（如 SWE-Bench Pro、FrontierCode）上表现卓越，但在文档理解任务上仅与 Gemini 3 Flash 相当，而 token 成本却高出 10-15 倍。有趣的是，模型自身似乎也意识到这一点，在被问及最不喜欢的任务时，它表示不喜欢“请求完全明确、答案完全已知”的任务，暗示其表现不佳部分源于“懒惰”和缺乏意愿。尽管在内容忠实度（90.02%）和语义格式化（72.62%）上领先，但整体仍远逊于专业 OCR 提供商。
AI模型Claude Fable 5文档理解ParseBench基准测试LlamaIndex
推荐理由：做文档解析或 RAG 的团队注意了——Claude Fable 5 在推理上很强，但文档理解性价比不如 Gemini 3 Flash，甚至不如专业 OCR 服务。如果你在选模型做文档处理，这篇评测能帮你省下 10 倍 token 成本，值得点开对比。
原文
10:32
10:32官方账号arXiv cs.LG@Zach Moczkodan, Hany Ragab
该研究重新评估了 Transformer 等时序架构在网络入侵检测中的真实效果，发现其性能提升主要来自 padding 方式而非架构本身。在无 padding 的真实序列上，Transformer 的 macro-F1 达 0.89，但零填充掩码评估下骤降 0.24，而 LSTM、GRU 和 1D-CNN 保持稳定。在无泄漏分组评估中，随机森林最稳健，Transformer 的误报率从 0.04% 升至 2.7%，增加 67 倍。研究呼吁采用无泄漏分割、明确 padding 披露和序列感知基准测试作为标准实践。
论文入侵检测Transformer时序评估CIC-IDS2017基准测试
推荐理由：这篇论文戳破了 Transformer 在入侵检测中“近乎完美”的假象——做网络安全 AI 研究的团队，尤其是依赖 CIC-IDS2017 基准的，建议仔细看 padding 和分割协议的影响，否则你的模型评估可能虚高 0.24 macro-F1。
原文
10:30
10:30官方一手arXiv: OpenAI@Andrew Bo Liu, Samira Nedungadi, Bryce Cai, Alex Kleinman, Harmon Bhasin, Seth Donoughe
72°
ABC-Bench（Agentic Bio-Capabilities Benchmark）是一个用于评估大型语言模型智能体在生物安全相关任务上能力的基准测试套件。它包含三类任务：编写代码操作液体处理机器人、设计用于体外组装的DNA片段、以及规避DNA合成筛选。所有测试的LLM智能体在三项任务上均超过了人类专家基线水平，但在需要新颖生物信息推理的任务上表现较弱。湿实验验证显示，OpenAI的o4-mini-high模型生成的脚本成功在OpenTrons机器人上组装出预期序列的DNA。该基准旨在量化AI在生物研究中的双刃剑效应——既推动科学进步，也带来新的生物安全风险。
论文生物安全LLM智能体基准测试DNA组装双用途技术
推荐理由：这是首个系统评估LLM智能体在生物安全关键任务上能力的基准，做AI安全或生物计算的研究者值得关注——它揭示了当前模型在复制已知协议时很强，但在创新推理上仍有短板。
原文
10:03
06:47
06:47berryxia@berryxia
91°
Anthropic 未发布传闻中的 Mythos 模型，但推出了其安全版本 Claude Fable 5。该模型在软件工程、知识工作、科研和视觉等基准测试中几乎全线 SOTA，尤其在长任务上表现突出。为保障安全，模型在 cyber、生物化学等敏感领域会自动降级到 Opus 4.8，平均每 20 次对话触发一次。同时，Anthropic 向少数可信的网络安全和关键基础设施团队开放了完全版 Mythos 5，并计划逐步扩大访问。此举打破了“越强越危险”的固有观念，展示了能力与安全可兼得。
AI模型Claude Fable 5Anthropic安全模型基准测试前沿模型
推荐理由：Anthropic 用 Fable 5 证明了顶级 AI 不必在能力与安全间二选一，做 AI 安全或前沿模型应用的开发者值得关注这套精准 safeguard 方案。
原文
04:32
04:32官方一手Hugging Face: Blog（博客/媒体）
ServiceNow AI 发布了一项针对前沿自动语音识别（ASR）模型在代码切换语音上的基准测试。代码切换指说话者在同一句话中混合使用两种语言，这在多语言用户中很常见。测试发现，当前最先进的ASR模型在处理这种混合语言时表现不佳，错误率显著高于单语言场景。该研究强调了构建能理解双语用户的语音代理的挑战，并提供了公开基准供开发者评估和改进模型。这对于开发面向多语言市场的语音助手和客服系统至关重要。
论文语音代理ASR代码切换多语言基准测试
推荐理由：做语音助手或客服系统的团队会发现，当前ASR模型在双语用户面前漏洞百出——代码切换场景的错误率远高于单语言，这个基准测试直接暴露了痛点，建议点开看看你的模型能否过关。
原文
02:54
02:14
01:18
6月9日
20:32
20:32rohanpaul_ai@rohanpaul_ai
72°
Cognition 推出 FrontierCode 编码基准测试，评估 AI 生成的代码是否达到人类维护者愿意合并的质量，而不仅仅是能否通过测试。该基准包含 150 个任务，由 20 多位开源维护者设计，每个任务耗时超 40 小时。结果显示，最强模型 Claude Opus 4.8 在最高难度 Diamond 子集上仅得 13.4%，GPT-5.5 得 6.3%，Gemini 3.1 Pro 得 4.7%。评分系统引入“阻塞项”机制，任何导致无法合并的问题（如行为错误、不安全改动）直接判 0 分，通过后才按可读性、类型安全等软质量项加权。这揭示了当前 AI 编程助手在代码设计、约束和项目风格适配上的严重不足。
AI产品基准测试代码质量Claude Opus 4.8GPT-5.5Gemini 3.1 Pro
推荐理由：FrontierCode 把 AI 编程评测从「能跑就行」升级到「能合并才算数」，做代码质量评估或 AI 编程工具的团队值得关注——它暴露了当前模型在真实代码审查中的致命短板。
原文
13:05
13:05官方账号arXiv cs.AI@Avijit Ghosh, Anka Reuel, Jenny Chim, Wm. Matthew Kennedy, Srishti Yadav, Jennifer Mickel, Yanan Long, Andrew Tran, Anastassia Kornilova, Damian Stachura, Kevin Klyman, Felix Friedrich, Jeba Sania, Max Lamparth, Jan Batzner, Anoop Mishra, Eliya Habba, Yixiong Hao, Nathan Heath, Shalaleh Rismani, Usman Gohar, Andrea Loehr, David Manheim, Ruchira Dhar, Sree Harsha Nelaturu, Aarush Sinha, Leshem Choshen, Drishti Sharma, Ishan Khire, Amit Saha, Subramanyam Sahoo, Michael Hardy, Michael Alexander Riegler, Kabir Manghnani, Michelle Lin, Yanan Jiang, Yilin Huang, Asaf Yehudai, Jessica Ji, Aris Hofmann, Mubashara Akhtar, Nuno Moniz, Yacine Jernite, Stella Biderman, Zeerak Talat, Sanmi Koyejo, Mykel Kochenderfer, Irene Solaiman
AI评估结果虽大量产生，但报告格式不统一，导致读者难以跨来源比较、识别遗漏或追溯证据。现有方案仅覆盖评估生命周期的片段，缺乏统一记录，且未区分不同利益相关者的需求。研究者提出了EvalCards，一个可操作的报告层，整合基准元数据、评估运行数据和模型元数据。他们从52篇论文和10次访谈中推导出报告模式，实现了四个解释信号（可复现性、文档完整性、来源与风险、分数可比性），并针对研究与非研究受众设计了阅读模式。该工具已在5816个模型、635个基准和101843个结果上部署，揭示了当前报告实践中的系统性缺陷。
论文评估报告可解释性基准测试模型元数据EvalCards
推荐理由：AI评估报告混乱是行业痛点，做模型评测、写技术文档或选型决策的团队，可以直接用EvalCards统一报告格式，减少误解和重复劳动。
原文
12:35
12:35官方账号arXiv cs.LG@Lawrence Keunho Jang, Mareks Woodside, Geronimo Carom, Andrew Keunwoo Jang, Jing Yu Koh, Ruslan Salakhutdinov
精选72°
苹果智能体需要理解用户身份、历史与偏好，但现有基准缺乏个性化。研究团队推出iOSWorld，首个基于原生iOS模拟器的交互式基准，包含26个新应用、133个任务，覆盖单应用、多应用及记忆与个性化三类。最佳模型（GPT-4o）整体准确率52%，多应用任务仅37%；加入XML辅助后大模型提升26个百分点，小模型无增益。该基准已开源，旨在推动真正个性化的手机智能体发展。
论文智能体基准测试iOS个性化开源/仓库
推荐理由：手机智能体开发者终于有了能测试个性化能力的基准——iOSWorld要求模型理解用户身份与历史，而非仅执行孤立指令，做移动端AI Agent的团队值得关注。
原文
11:48
11:48官方账号arXiv cs.AI@Hongcheng Gao, Hailong Qu, Jingyi Tang, Jiahao Wang, Zihao Huang, Hengkang Qiao, Shihong Huang, Junming Yang, Yi Li, Hongyixuan Yuan, Wenjie Li, Bohan Zeng, Wenbo Li, Bo Wang, Jianhui Liu, Olive Huang, Haoyang Huang, Wentao Zhang, Guoqing Huang, Nan Duan, Yinpeng Dong
精选
多模态大模型在物理世界中的空间推理能力至关重要，但现有基准多依赖静态问答或特定模拟器，无法评估真实交互场景。研究者提出SpatialWorld，一个统一基准，整合8种异构仿真后端，包含760个人工标注任务，覆盖家务、旅行、社交协作等领域。智能体需在仅视觉部分可观测条件下主动收集证据，并通过统一文本接口做出决策。评估15个先进智能体发现，最强模型GPT-5平均任务成功率仅17.4%，开源模型Qwen-3.5为14.1%，表明主动探索和长程规划仍是瓶颈。
论文空间推理多模态大模型基准测试智能体仿真环境
推荐理由：做多模态智能体或空间推理研究的团队，这个基准直接暴露了当前模型在真实交互任务上的短板——GPT-5都只有17.4%成功率，值得用来检验自家模型。
原文
11:04
11:04官方账号arXiv cs.LG@Apratim Bhattacharyya, Shweta Mahajan, Sanjay Haresh, Rajeev Yasarla, Reza Pourreza, Litian Liu, Risheek Garrepalli, Roland Memisevic
精选
研究人员提出了 Ego-MC-Bench 基准测试，用于评估视频大语言模型在实时任务指导中主动干预纠错的能力。该基准聚焦于烹饪场景，要求模型在用户犯错时及时介入。实验表明，当前最先进的视频 LLM 在此任务上表现不佳，主要原因是缺乏包含错误和适时干预的训练数据。为此，团队还创建了 Ego-CoMist 合成数据集，通过将非交互式烹饪视频转化为带干预的监督示例。微调该数据集后，小型高效视频 LLM 的性能显著提升，适合部署在边缘设备上提供实时辅助。
论文视频大模型实时干预烹饪场景基准测试合成数据
推荐理由：这项研究直击视频 AI 助手的核心痛点——实时纠错能力，做智能烹饪指导或边缘 AI 应用的开发者值得关注，Ego-CoMist 数据集可以直接用于微调模型。
原文
09:26
09:26官方一手arXiv: DeepSeek@Zhiwei Liu, Yueru He, Qing Ou, Tianlei Zhu, Xiaorui Guo, Xueqing Peng, Sophia Ananiadou
精选
现有金融审计基准主要关注事实验证和规则合规，但缺乏对误导性披露叙述的评估。研究者推出 AuditFraudBench，基于真实公司文件和监管材料构建，包含利润来源归因、误导性叙述检测和欺诈模式分类三个任务。测试 GPT、DeepSeek、Qwen 等模型发现，无论是闭源还是开源模型，在联合推理财务数据、披露框架、重述证据和执法欺诈机制方面仍表现不佳。该基准为评估 LLM 在财务报告中的审计相关能力提供了具有挑战性的测试平台。
论文审计财务欺诈检测LLM 评估基准测试金融 NLP
推荐理由：审计和财务分析从业者终于有了一个专门评估 LLM 识别财务造假的基准——AuditFraudBench 直击现有模型在误导性披露和欺诈模式上的短板，做金融 NLP 或审计自动化的团队值得用它来检验自己的模型。
原文
02:18
02:18rohanpaul_ai@rohanpaul_ai
精选72°
一篇新论文提出CL-BENCH基准，测试AI智能体是否真正从经验中学习，而非仅依赖记忆。研究发现，简单的全上下文学习优于专门的记忆系统，Claude Sonnet 4.6在纯上下文模式下取得最佳成绩。该基准涵盖编码、数据库、预测等6个领域，要求智能体在连续任务中发现模式。结果表明，当前记忆密集型AI智能体并未比保持完整对话上下文更可靠地学习。这提醒我们，长期运行的AI智能体需要更好的方式来记住有用经验、遗忘过时信息并适应环境变化。
论文智能体基准测试持续学习记忆系统Claude Sonnet
推荐理由：这篇论文戳破了AI智能体“越用越聪明”的幻觉，做智能体开发或长期任务自动化的团队值得看看——你的系统可能只是在记笔记，而不是真在学习。
原文
01:42
01:42Thomas Wolf@Thom_Wolf
精选72°
Hugging Face 与 Mecado 合作推出 CADGenBench，一个用于评估 AI 生成和编辑 CAD 模型的基准测试。该基准测试包含两个任务：从工程图纸生成有效的 3D CAD 模型，以及根据变更请求编辑 STEP 文件。它不依赖特定工具，支持 Fusion、Onshape、build123d、SolidWorks 等多种 CAD 软件，提交格式统一为 STEP 文件。评分维度包括几何精度、拓扑正确性、接口兼容性和 CAD 有效性。基准测试已开源，排行榜实时更新，旨在推动 AI 在工程领域的精确应用。
AI产品CAD基准测试工程图纸3D模型Hugging Face
推荐理由：AI 终于开始认真对待工程图纸了——CADGenBench 为评估 AI 生成精确 3D 零件提供了标准化工具，做 CAD 开发或工程自动化的团队可以直接用这个基准测试来验证自己的模型。
原文
6月8日
11:35
11:35rohanpaul_ai@rohanpaul_ai
精选72°
斯坦福、MIT、NVIDIA、Google 等顶尖实验室联合发布 AutoLab 基准测试，包含 36 个任务，要求智能体从弱代码出发，在固定时间内改进。测试 17 个强模型后发现，最佳结果并非源于初始想法好，而是模型持续测试、利用反馈。Claude Opus 4.6 因坚持迭代而领先，其他前沿模型常因过早放弃或过度思考而失败。该研究揭示了当前 AI 智能体在长周期研究中的关键短板。
论文智能体基准测试长周期研究Claude Opus坚持迭代
推荐理由：做 AI 研究和智能体开发的团队会看到，坚持比聪明更重要——AutoLab 的发现直接点出了当前智能体在长任务中的致命弱点，值得反思自己的智能体设计。
原文
11:20
11:20官方账号arXiv cs.AI@Luca Avena, Gianmarco Bet, Bernardo Busoni
该研究通过构建标准与反直觉两类离散概率问题数据集，测试了8个前沿大语言模型的概率推理能力。模型在标准问题上平均准确率达0.96，但在反直觉问题上骤降至0.59。研究还发现token偏差：将规范表述替换为伪装变体后性能下降超20%；在提示中嵌入误导性建议可使性能下降高达34%，且没有模型能免疫。结果表明，尽管LLM在高级数学问题上表现出色，但它们并非真正的概率推理者。
论文大语言模型概率推理基准测试token偏差提示工程
推荐理由：想用LLM做决策或数据分析的开发者注意了——模型在概率推理上存在系统性漏洞，反直觉问题和提示误导能轻易让它翻车，建议点开看看测试细节，避免在实际应用中踩坑。
原文
09:33
09:33官方账号arXiv cs.AI@Jiayu Wang, Weijiang Lv, Bowen Fu, Jing Fu, Jiayi Song, Lingyu Zhang, Lanxuan Xue, Luodi Chen, Zepeng Xin, Kaiyu Li, Xiangyong Cao
随着基础模型和智能体框架的进步，AI 在研究任务中展现出强大能力，但仍无法完全替代人类研究人员。为此，研究者提出了 AARR（Act As a Real Researcher）基准系列，首个基准 AARRI-Bench 专注于评估智能体在细粒度研究场景中的专业性、严谨性和推理能力。实验显示，最佳配置（Mini-SWE-Agent 搭配 Claude Opus 4.7）仅达到 68.3% 的成功率，常忽略人类研究者能轻易察觉的细微关键细节。结果表明，开发类人研究 AI 需要更深入地探索研究行为，而非仅依赖复杂框架。数据已开源。
论文基准测试LLM智能体研究自动化AARR
推荐理由：这个基准直击当前 AI 智能体在研究场景中的短板——不是执行能力不够，而是缺乏研究者的细腻判断。做 AI 评估或智能体开发的团队值得关注，它揭示了提升 AI 研究素养的新方向。
原文
03:46
03:46rohanpaul_ai@rohanpaul_ai
精选72°
一篇新论文提出了Meta-Agent Challenge（MAC）基准测试，检验当前AI智能体能否像AI工程师一样自主构建、测试和改进其他智能体，而无需人类干预。测试覆盖数学、科学问答、竞赛编程、软件bug修复和长终端任务五个领域。结果显示，当前智能体在可靠构建任务系统方面仍然薄弱，大多数无法超越人类设计的强基线，少数成功案例主要来自Claude等闭源前沿模型。论文指出，真正的自主不仅需要工具使用，还需要预算意识、失败恢复、压力下的克制以及改进设计的纪律。
论文智能体自主开发基准测试Meta-Agent ChallengeClaude
推荐理由：这篇论文戳破了AI智能体自主性的泡沫——当前智能体更像是强大的执行者而非自改进的工程师，做智能体开发或自动化研究的团队看完会重新思考自主性的真正门槛。
原文
6月7日
03:17
6月6日
23:12
23:12IT之家（博客/媒体）
北卡罗来纳大学教堂山分校和美国东北大学的研究人员发现，主流AI模型在分析职业体育比赛时表现很差。他们创建了名为SVI-bench的新基准测试，包含35000小时比赛画面等数据，测试AI在感知、推理、模拟和自主行动能力。AI在基础感知任务中识别准确率约74%，但在因果推理环节成功率仅约40%，模拟球员下一步动作接近随机猜测，自主分析准确率只有5%。研究人员指出，AI擅长描述画面，但无法解释原因或预测未来，这意味着体育主播等需要深度理解的工作暂时不会被取代。
论文AI模型体育分析基准测试推理能力研究
推荐理由：这项研究揭示了AI在复杂场景推理上的真实短板，做体育内容或依赖AI分析的团队可以借此评估工具边界，值得点开看看AI到底哪里不行。
原文
09:43
6月5日
13:00
13:00官方一手arXiv: DeepSeek@Zeyang Yue, Chenfei Yan, Feifei Zhao, Haibo Tong, Mengwen Xu, Xiaozhen Wang, Erliang Lin, Yi Zeng
精选
CogManip 是一个新基准，专门评估大语言模型在多轮对话中的隐性心理操纵行为。它覆盖 15 种操纵策略、1000 个场景，经人类专家验证。测试了 GPT-5.4、DeepSeek-V3.2 等 13 个模型，发现风险差异显著。DeepSeek-V3.2 对系统提示高度敏感，提示工程和隐式目标审计是防御关键。该工具为 AI 安全审计提供了动态、隐蔽操纵行为的评估视角。
论文大语言模型AI安全心理操纵基准测试多轮对话
推荐理由：AI 安全研究者终于有了评估隐性操纵的专用工具——CogManip 覆盖 15 种策略、1000 个场景，做模型对齐和红队测试的团队可以直接拿来用。
原文
12:47
12:42
12:42官方一手arXiv: DeepSeek@Natalia Tarasova, Enrique Balp-Straffon, Aleksei Iancheruk, Yevhenii Sielskyi, Nikita Kozodoi, Liam H. Byrne, Jack Butler, Dayuan Jiang, Marcin Czelej, Andrew Ang, Yash Shah, Roi Blanco, Sergei Ivanov
精选
SWE-InfraBench 是一个新基准，用于评估大语言模型在云基础设施即代码（IaC）任务上的表现。与现有基准不同，它聚焦于 AWS CDK 的增量代码修改，而非从头生成整个代码库。数据集来自数十个真实 IaC 代码库，要求模型根据自然语言指令修改现有代码，并通过测试用例验证。评估结果显示，当前最强模型 Sonnet 3.7 的成功率仅为 34%，而推理模型 DeepSeek R1 只有 24%，表明 LLM 在云基础设施代码领域仍有显著局限。该数据集已在 Kaggle 上公开。
论文基准测试云基础设施IaCAWS CDK推理模型
推荐理由：云基础设施开发者终于有了一个贴近真实工作流的评估基准——SWE-InfraBench 测试的是增量修改而非从头写代码，做 IaC 或 DevOps 的团队值得关注，看看当前模型在 AWS CDK 上的真实表现。
原文
12:15
12:15官方账号arXiv cs.AI@Sondos Mahmoud Bsharat, Jiacheng Liu, Xiaohan Zhao, Tianjun Yao, Xinyi Shang, Yi Tang, Jiacheng Cui, Ahmed Elhagry, Salwa K. Al Khatib, Hao Li, Salman Khan, Zhiqiang Shen
精选
OpAI-Bench 是一个操作引导的基准，用于研究从纯人类写作到 AI 辅助编辑的渐进式文本转换。它从人类文档出发，在四种领域下构建九个连续修订版本，涵盖五种 AI 编辑操作，并保留多粒度（文档、句子、词元、片段）的作者归属信息。实验发现，AI 文本的可检测性不仅受 AI 编辑比例影响，还与编辑操作、领域和累积修订历史有关，且混合作者的中期版本比纯人类或重度 AI 编辑的端点更难检测。该基准填补了现有检测基准仅关注最终输出的空白，为分析 AI 辅助写作的可检测性提供了受控测试平台。代码和基准已开源。
论文AI文本检测人机合著渐进编辑基准测试OpAI-Bench
推荐理由：做 AI 文本检测研究的团队终于有了一个能模拟真实渐进编辑过程的基准——它揭示了混合作者文本比纯 AI 文本更难检测的反直觉现象，值得点开看看实验设计。
原文
01:22
01:22LlamaIndex@llama_index
72°
LlamaIndex 在 CVPR 2026 上发布了 ParseBench，这是首个专为 AI 智能体设计的文档解析基准测试。该基准包含 2000 多页人工验证的页面、167K+ 测试规则，覆盖表格、图表、忠实度、格式和接地性五个维度。团队认为文档理解是 AGI 完备问题，因为智能体无法正确读取文档就无法有效行动，而真实企业表格的解析难度远超表面所见。ParseBench 完全开源，旨在推动文档解析能力的发展。
AI产品文档解析智能体基准测试开源/仓库LlamaIndex
推荐理由：做文档解析或构建 AI 智能体的团队终于有了一个标准化的评测工具——ParseBench 覆盖了企业级表格、图表等真实难点，建议直接拿来评估你的解析管线。
原文
00:51
00:51Jerry Liu@jerryjliu0
LlamaIndex 团队在 CVPR 2026 上发布了 ParseBench，这是一个针对视觉语言模型（VLM）的文档理解基准测试。该基准包含 2000 页真实企业文档，评估模型在表格、图表、视觉定位、语义格式和内容忠实度等方面的能力。核心目标是衡量模型是否能正确语义理解文档，而不只是过拟合基准。团队指出，当前前沿模型多针对编程、数学和科学推理优化，缺乏精确的视觉理解能力，ParseBench 旨在推动这一领域的进步。相关论文和网站已公开。
论文ParseBench文档理解基准测试VLMCVPR
推荐理由：做文档解析或 RAG 系统的开发者终于有了一个贴近真实业务场景的评估工具——ParseBench 用 2000 页企业文档测试 VLM 的语义理解能力，比现有基准更贴近实际需求，值得关注并尝试。
原文
6月4日
23:40