AITOP

评估基准

共 20 条相关 AI 资讯
8月11日
11:55
11:55官方账号arXiv cs.AI@Laurens Samson, Iva Gornishka, Gossa Lô, Yuki M. Asano, Sennay Ghebreab
荷兰研究者提出“Grip on LLMs”评估框架，针对政府场景的荷兰语大模型。该框架涵盖事实性、诚实性、社会偏见、能耗、成本和训练数据透明度六个维度，测试了30多个多语言及荷兰语专用模型。结果显示没有模型在所有维度上表现最佳，高质量模型通常伴随更高能耗和成本，而偏见与两者无关。事实性和诚实性由不同属性决定，高事实性不意味着高诚实性。研究团队发布了面向非技术用户的公开模型概览。
论文Grip on LLMs荷兰语评估基准
推荐理由：荷兰政府项目组做的评估框架，测了30多个模型，告诉你哪个模型在事实性、能耗、成本上表现如何，选型时直接参考。
原文
8月5日
01:34
01:34AK@_akhaliq
精选
LongHorizon-Harness 是一个面向长时程智能体的新评估框架。论文编号 2608.01 已在 Hugging Face 上公开。LongHorizon-Harness 用于评测智能体在真实世界多步骤任务中的表现。现有基准多偏短时程，LongHorizon-Harness 试图弥补这一缺口。
论文LongHorizon-Harness智能体评估基准
推荐理由：有人发了 LongHorizon-Harness，一个专测长时程智能体的框架，论文在 Hugging Face，想评估多步任务表现可以看。
原文
7月28日
00:03
7月21日
01:31
7月7日
11:30
11:30官方账号arXiv cs.AI@Thomas Thebaud, Yuzhe Wang, Hao Zhang, Sathvik Manikantan Napa Ugandhar, Ashish Hallur, Georgi Tinchev, Venkatesh Ravichandran, Laureano Moro-Velazquez
SPEARBench基于Seamless Interaction语料库构建对话提示，评估多个当代语音到语音模型在响应延迟、中断、语音质量、ASR鲁棒性、语言与方言一致性、情感自然度、人际关系立场等8个维度上的表现。与人类对话相比，当前模型在延迟、重叠、方言保留、情感适应和立场动态方面仍有差距。基准包含原始人类回答作为参考条件。
论文SPEARBench语音生成对话系统
推荐理由：想测语音AI聊天有多自然？SPEARBench从8个维度对比人类，告诉你现有模型的短板具体在哪。
原文
11:20
11:20官方账号arXiv cs.AI@Dylan Zongmin Liu
SovereignPA-Bench 是一个可执行基准，用于评估用户自有个人代理（personal agent）在意图演变、平台调解、隐私边界和同意约束下的表现。基准将代理可观察状态与仅评估者的隐藏标签分离，报告任务成功、对齐、隐私、同意、证据、操纵、负担和可审计性等组件指标。研究在 120 个主权压力场景中评估了 4 个模型家族和 8 个策略基线，生成 3840 条冻结提示轨迹。全主权脚手架方法在主权得分上优于直接、仅记忆、仅同意、仅证据、ReAct/工具使用、安全提示和判断守卫基线，同时减少了隐私泄露、同意违规、过度让步和操纵捕获。人工审计显示隐私和同意方面的一致性高，而操纵方面的一致性较低。
论文SovereignPA-Bench智能体评估基准
推荐理由：这篇论文提出了一个评估个人代理的新基准 SovereignPA-Bench，不仅看任务完成，还关注隐私和同意。对研究AI代理安全的人很有参考价值。
原文
7月1日
10:44
10:44官方账号arXiv cs.AI@Sergio Hernández-Gutiérrez, Matteo Merler, Ilze Amanda Auzina, Joschka Strüber, Ameya Prabhu, Matthias Bethge
QVal是一个无训练测试床，直接评估密集监督信号的质量。它通过Q对齐指标衡量信号是否按强化学习参考策略的Q值排序动作。在四个环境、七个方法家族中基准测试21种密集监督方法，涉及1200+次评估实验和六个开源模型。结果发现简单提示基线持续优于近年提出的密集监督方法，且性能按方法家族聚类。
论文QValLLM Agents密集监督
推荐理由：这篇论文提出了一个高效的评估框架，帮你省去昂贵的训练代价来判断哪种监督信号对长程智能体更有效，结论很实用。
原文
6月30日
12:46
12:46官方账号arXiv cs.AI@Aspen Hopkins, Allison Nulty, Alexandria Minetti, Anoop Pakki, Angad Singh
该论文提出人类创造力基准(HCB), 收集15000个专业判断覆盖5个创意领域和3个工作流阶段(构思/模型/细化)。HCB将评价分为收敛(如技术正确性)和发散(如美学方向), 发现专业分歧代表真实品味差异而非测量误差。单一质量指标会丢失关键信息: 模型在哪些维度必须正确、哪些维度应保持可操控性。
论文Human Creativity Benchmark创意AI评估基准
推荐理由：这篇论文用15000个专家评价告诉你, 测AI创意能力不能只看平均分, 分歧本身才是宝藏。
原文
6月29日
08:15
6月17日
01:59
6月10日
13:02
13:02官方账号arXiv cs.AI@Aman Sharma, Sushrut Thorat, Paras Chopra
精选72°
一项新研究评估了六个当代编程智能体在四种冷门编程语言（如 Brainfuck 和 Befunge-98）上的表现，发现最强智能体（Claude Opus 4.6 和 GPT-5.4 xhigh）会采用元编程策略——先写 Python 程序生成目标语言代码并本地调试，而非直接写目标语言。禁止这种策略会导致性能大幅下降。研究还发现，从强模型提炼的文本指导对弱模型帮助有限，但提供 Python 辅助代码能显著提升 Sonnet 4.6 和 GPT-5.4 mini 的表现。这表明强智能体通过工具、反馈和工作区状态构建目标语言的工作模型来适应陌生环境，元编程只是最明显的例子。
论文编程智能体元编程Claude Opus 4.6
推荐理由：做 AI 编程智能体或评估基准的团队，这篇论文揭示了主流基准（如 SWE-Bench）掩盖的能力差距——强智能体在陌生语言上的元编程策略值得借鉴，建议点开看具体实现方法。
原文
09:05
09:05官方一手arXiv: DeepSeek@Bharath Sivaram Narasimhan, Karthik R Narasimhan
精选
推荐系统正转向多轮对话式智能体，但现有评估依赖“LLM作为裁判”，存在主观性、高成本和不一致问题。τ-Rec 基准用可验证奖励和揭示标签引导机制替代主观评估，通过结构化目录谓词和 pass^k 可靠性指标测试智能体的推理一致性。对 GPT-5.4、Claude Sonnet 4.6 等 9 种配置的评估显示，最佳模型 pass^1 仅约 57%，pass^4 约 38%，暴露了当前对话智能体部署中的可靠性悬崖。所有代码和数据已开源。
论文推荐系统智能体评估基准
推荐理由：做推荐系统或对话智能体评估的团队，终于有了一个可复现、低成本的客观基准，直接拿来测自己的模型会看到真实差距。
原文
6月8日
16:42
16:42Hunyuan@TXhunyuan
精选72°
腾讯混元与上海交大、南洋理工等机构合作推出 MMAE，这是首个针对语音和音频编辑的综合评估基准。与单纯生成音频不同，MMAE 要求 AI 理解现有音频并根据自然语言指令精确修改，保留无关部分。基准包含 2000 个真实场景样本、17741 个细粒度评估项，覆盖声音、音乐、语音及其混合的 7 种模态设置。当前模型在精确匹配率（EMR）上低于 5%，揭示了可靠音频编辑的巨大差距。该基准已开源，包含论文、代码和演示。
论文音频编辑评估基准腾讯混元
推荐理由：音频编辑是 AI 落地的重要场景，MMAE 基准揭示了现有模型的巨大短板，做音频 AI 或语音交互的开发者值得关注这个评估工具。
原文
6月4日
20:34
20:34官方一手Hugging Face: Blog（博客/媒体）
精选
ServiceNow AI 发布了 EVA-Bench Data 2.0，一个面向企业级 AI 智能体的评估基准数据集。该数据集覆盖 3 个领域（IT、HR、客户服务），包含 121 种工具和 213 个场景，旨在测试 AI 智能体在复杂企业环境中的工具调用和任务执行能力。相比第一版，新版本增加了更多真实世界的交互场景和工具多样性，为开发者提供了更全面的评估标准。这对于希望在企业场景中部署 AI 智能体的团队来说，是一个重要的参考资源。
AI产品智能体评估基准企业AI
事件专题
推荐理由：企业 AI 智能体评估终于有了更贴近真实场景的基准——3 领域 121 工具覆盖 IT、HR、客服，做企业级 AI 落地的团队可以直接用这个数据集来测试自己的智能体。
原文
5月26日
11:46
11:46官方账号arXiv cs.AI@Yunhua Pei, Jingyu Hu, Yiwei Shi, Hongnan Ma, Weiru Liu, John Cartlidge
精选
StakeBench 是一个新的金融 NLP 评估框架，它通过分析 Polymarket 和 Manifold 预测市场上 2,261 个已结算市场的 560,876 条评论，将语言理解与市场承诺（如持仓方向、交易行为、赔率轨迹）挂钩，而非传统的人工标注情感。该框架包含四个诊断任务：检测市场承诺、识别持仓方向、预测未来交易行为以及集体赔率预测。实验发现，15 个 LLM 在方向识别上表现参差不齐（准确率 0.506-0.599），但在未来行动预测和赔率预测上普遍失败，且模型规模与性能无关，金融领域微调也无帮助。StakeBench 的代码和数据集以 CC-BY 4.0 协议开源。
论文金融NLP市场承诺评估基准
推荐理由：金融 NLP 从业者终于有了一个基于真实市场行为的评估基准，比传统情感分析更贴近交易决策，做金融 AI 的团队值得关注。
原文
5月20日
10:36
10:36官方账号arXiv cs.AI@Husnain Amjad, Raja Khurram Shahzad, Aamir Shahzad, Mehwish Fatima
精选
这篇综述系统梳理了大型语言模型在数学推理领域的最新进展，涵盖约120篇论文。文章提出了统一的数学数据集分类法，区分了预训练语料、监督微调资源和评估基准。它分析了推理架构和训练策略（如工具集成、验证器引导推理、参数高效微调）对鲁棒性和泛化能力的影响。比较评估揭示了最终答案准确率与过程级推理验证之间的差距。最后，论文指出了常见失败模式（如推理忠实性问题、基准偏差）和未来研究方向。
论文推理模型数学推理综述/论文
推荐理由：做LLM推理研究或评估的团队，这篇综述帮你系统梳理了120篇论文的脉络，直接拿来当研究起点，省去大量文献筛选时间。
原文
10:14
10:14官方账号arXiv cs.AI@Jinbiao Wei, Qianran Ma, Yilun Zhao, Xiao Zhou, Kangqi Ni, Guo Gan, Arman Cohan
精选
OpenComputer 是一个基于验证器的框架，用于构建可验证的软件世界，以评估和训练计算机使用智能体。它集成了四个组件：应用状态验证器、自进化验证层、任务生成管道和评估工具。目前覆盖 33 个桌面应用和 1000 个任务，包括浏览器、办公工具、创意软件等。实验表明，硬编码验证器比 LLM 作为裁判更准确，尤其在细粒度状态依赖的任务中。前沿模型在端到端完成上仍显吃力，开源模型表现下降，暴露了计算机自动化中的持续差距。
论文计算机使用智能体验证框架桌面自动化
推荐理由：OpenComputer 解决了计算机使用智能体评估缺乏可靠验证的问题，做智能体开发和自动化研究的团队可以直接用它来测试和训练模型，比 LLM 裁判更靠谱。
原文
5月18日
22:29
22:29官方一手Hugging Face: Blog（博客/媒体）
精选76°
IBM Research 在 Hugging Face 上推出了 Open Agent Leaderboard，这是一个用于评估 AI 智能体性能的公开排行榜。该排行榜通过一系列标准化任务测试智能体的规划、工具使用和推理能力，旨在为开发者提供可复现的基准。目前已有多个主流模型参与评测，包括 GPT-4、Claude 等。这一举措有助于推动智能体领域的透明化和标准化，让开发者能更直观地比较不同智能体的实际表现。
行业智能体排行榜IBM
推荐理由：智能体评估一直缺乏统一标准，IBM 这个排行榜让开发者能直接对比不同模型的规划与工具使用能力，做智能体应用的团队值得关注。
原文
5月12日
19:11
19:11官方一手arXiv: DeepSeek@Joanna Szych, Anne Schwerk
该论文提出了一种树状折叠评估方法，用于评估LLM生成代码的正确性、质量和可用性。研究者基于一个复杂的计算机科学项目构建了正确性基准，并结合代码质量验证和开发者结构化审查。他们用该方法评估了GPT-4.1、DeepSeek-V3-0324和Claude Opus 4三个模型，发现开发者审查能揭示代码生产就绪状态等标准基准无法捕获的洞察。这表明仅靠正确性测试不足以全面评估LLM代码生成能力。
论文代码生成评估基准GPT-4.1
推荐理由：该研究为LLM代码生成评估提供了更全面的方法论，强调了开发者反馈的重要性，对模型选择和改进实践具有参考价值。
原文
5月11日
11:43
11:43官方账号arXiv cs.AI（学术论文）
本文提出SCOPE框架，将复杂的图像生成要求形式化为语义承诺，通过结构化规范持续追踪这些承诺的状态，并条件式调用检索、推理和修复技能以解决未满足的承诺。研究指出当前模型生成中存在的“概念鸿沟”问题，即承诺在生成生命周期中可能被局部解决但无法作为统一操作单元被追踪。为评估承诺级意图实现，作者引入人类标注基准Gen-Arena和实体级通过率指标EGIP，SCOPE在该基准上达到0.60 EGIP，显著优于所有基线，并在WISE-V（0.907）和MindBench（0.61）上表现优异，证明持续承诺追踪对复杂图像生成有效。
论文图像生成语义承诺结构化解耦
推荐理由：该工作首次系统定义了图像生成中的语义承诺概念及其生命周期断裂问题，并提供了可操作的框架和评估基准。对追求高可控性图像生成的从业者来说，SCOPE展示了结构化规范追踪如何提升复杂交互场景下的生成质量。
原文