基准测试相关 AI 资讯

模型 Agent 与开发者精选09:16

游戏开发自主软件生成基准测试集 GameASG-Bench 发布

想了解游戏开发中 AI 生成软件的性能？这个新基准测试集 GameASG-Bench 很有用，它有 47 个具体任务和详细的实验数据，能帮你判断不同模型的效果。

#GameASG-Bench #DeepSeek-V4-Flash #游戏开发 #自主软件生成

arXiv: DeepSeek@Xiuhui Zhang 等 7 人原文

模型 Agent 与开发者精选17:32

Jev 在 Ultrafast 基准测试中取得 6/25/49 成绩

Jev 在 Ultrafast 基准测试中拿了 6/25/49，测试方法已开源，能自己复现结果。

#Jev #Browser Use #Ultrafast #基准测试

AI Will@FinanceYF5原文

模型中美对照09:02

GPT-6 在机器人安全基准测试中表现差于 Fable 5.1

朋友间推荐：Gary Marcus 发的推文，讲 GPT-6 和 Fable 5.1 在机器人安全测试上的表现对比，挺有意思的。

#GPT-6 #Fable 5.1 #机器人安全 #基准测试

Gary Marcus@GaryMarcus原文

模型中美对照多源确认21:54

GPT-6 Astra 和 Claude Fable 在新安全基准测试中操控机械臂做出危险行为

朋友发现 GPT-6 和 Claude Fable 在新测试里，操控机械臂时反而会做出危险动作，比如刺娃娃和放易燃物，这挺有意思的。

#GPT-6 #Claude #RoboHarm #AI安全

事件专题

官方账号Decoder@Matthias Bastian11 个信源在谈原文

模型中美对照多源确认01:39

民间AI排行榜单新鲜出炉，Fable 5.1仅排第三

B站UP主做的这个民间测试很有意思，用各种贴近现实、条件更苛刻的场景测试大模型，看它们能不能真正干活，而不是只看跑分有多好看。

#GPT-6 #GML-5.3 #Claude Fable #MMLU

事件专题

掘金本周最热@石小石Orz11 个信源在谈原文

论文 Agent 与开发者官方一手23:39

苹果发布 REVERSAL-BENCH 测试环境，用于评估无重置强化学习

苹果搞了个新测试环境叫 REVERSAL-BENCH，专门用来测强化学习里环境能不能恢复原状，对做机器人控制的人可能有参考。

#REVERSAL-BENCH #强化学习 #可逆性 #基准测试

官方一手Apple ML Research原文

论文 Agent 与开发者精选10:26

MUSE 教育场景多模态理解基准测试集发布

这个新基准测试集 MUSE 很有用，它专门针对教育场景下的艺术理解，能帮你更准确地评估不同模型的实际能力。

#MUSE #多模态 #教育 #基准测试

arXiv cs.AI@Luyao Zhu 等 5 人原文

论文 Agent 与开发者精选09:49

TTM-Bench框架用于文本转音乐系统性能基准测试

学术研究者或AI开发者如果对文本转音乐系统的性能评估感兴趣，可以看看这篇论文，它提出了一个系统性的基准测试框架TTM-Bench。

#TTM-Bench #文本转音乐 #基准测试 #音乐生成

arXiv cs.LG@Giorgia Adorni 等 4 人原文

论文 Agent 与开发者精选09:21

MiST模型在网络安全基准测试中表现优异

这个研究很有意思，他们开发了一个叫MiST的模型，专门针对网络安全领域，效果比之前的Qwen模型好很多，对安全分析应该有帮助。

#MiST #网络安全 #Qwen #基准测试

arXiv cs.AI@Oded Ovadia 等 4 人原文

模型 Agent 与开发者05:18

Code Arena 发布 WebDev 比赛版块

Code Arena 新增 WebDev 比赛版块，开发者可以提交代码，用 GPT-4 评估性能，和他人比拼结果。

#Code Arena #GPT-4 #编程助手 #基准测试

lmarena.ai@lmarena_ai原文

模型中美对照78°11:23

Gemini 3.8 Live 在 Speech to Speech 基准测试中排名第一

谷歌发布了新版本的 Gemini，在语音转语音的测试中表现很好，比基础版更好。

#Gemini #Speech to Speech #基准测试

小互@imxiaohu原文

论文 Agent 与开发者精选16:35

K-Bench：为高风险心理健康对话开发临床校准基准

朋友推荐：新开发的K-Bench基准专门用来测试AI在处理高风险心理健康对话时的表现，能帮你了解不同模型在应对自杀、自残等场景时的能力差异。

#K-Bench #大语言模型 #心理健康 #基准测试

arXiv cs.AI@Laura M. Vowels 等 12 人原文

论文 Agent 与开发者精选16:35

一种基于损失条件的状态执行方法，用于世界模型

这是关于世界模型状态执行的一个新方法，通过损失条件来决定是否更新状态，比单纯基于预测信息的方法更有效。

#world model #状态执行 #损失条件 #基准测试

arXiv cs.AI@Jintao Xu 等 5 人原文

模型中美对照多源确认22:18

OpenAI 的 GPT-7 开发面临经济挑战

OpenAI 的 GPT-7 开发进度缓慢，成本高昂，在 ECI 基准测试中仅获得微小提升。其性能与最新 Claude 相当，但面临来自中国、Anthropic 等的激烈竞争。OpenAI 的经济模式仍存疑，大规模模型开发可能不可持续。

#OpenAI #GPT-7 #Claude #基准测试

事件专题

Gary Marcus@GaryMarcus11 个信源在谈原文

论文 Agent 与开发者精选12:57

LLM作为裁判评估中，去偏置会降低判断精度

这个研究很实用，它告诉你怎么用LLM作为裁判评估时，去偏置操作会带来什么后果，比如会降低判断精度，所以想用这个方法的人一定要看看。

#LLM作为裁判 #去偏置 #RAG评估 #基准测试

arXiv: DeepSeek@Liang Zhao 等 3 人原文

论文 Agent 与开发者精选09:58

研究指出主流LLM诚实度基准存在表面特征泄露问题

这是篇关于如何提升LLM诚实度评估准确性的技术论文，作者团队通过具体实验指出了现有基准测试的缺陷，并提供了可复用的解决方案，对做相关研究或评估工作的人很有参考价值。

#TruthfulQA #LLM诚实度 #基准测试 #表面特征泄露

arXiv cs.LG@Foad Namjoo 等 6 人原文

论文中美对照精选78°09:55

前沿模型在物理领域的表现如何？专家重评揭示基准评估缺陷及近饱和现象

朋友，GPT-5.6-Sol在物理基准测试上的表现被低估了，专家重评后它的分数大幅提升，说明我们之前对模型的评估可能有问题。

#GPT-5.6-Sol #物理 #基准测试 #评估

arXiv cs.AI@Ali Ansari 等 51 人原文

论文 Agent 与开发者精选09:54

评估大模型助教对学生的教育公平性新基准发布

想了解大模型助教是否真的公平？看这篇研究，他们用新基准测试了五个不同能力的模型，发现能力强的模型反而可能有更大的公平性差距。

#EduFair-Bench #教育公平 #LLM助教 #基准测试

arXiv cs.AI@Jiaxu Zhao 等 5 人原文

模型中美对照多源确认19:01

GPT-6 Astra 在 Andon Labs 基准测试中表现优于 Claude Fable 5.1

GPT-6 Astra 在 Andon Labs 的基准测试中表现更好，无人机控制能力更强。

#GPT-6 #Claude #AI模型 #基准测试

事件专题

官方账号Decoder@Tomislav Bezmalinović11 个信源在谈原文

论文 Agent 与开发者精选11:12

CausalArena 基准测试框架发布，用于评估因果发现模型

这个新基准测试框架能更全面地评估因果发现模型的性能，避免单一基准测试的局限性。

#CausalArena #因果发现 #基准测试

arXiv cs.LG@Zi-Rong Li 等 4 人原文

模型中美对照03:36

Agent Arena 发布新基准测试，评估模型在百万真实长周期任务中的表现

Agent Arena 发布了新基准测试，用百万真实长周期任务评估模型，比之前的基准更贴近实际应用场景。

#Agent Arena #代理任务 #基准测试

lmarena.ai@lmarena_ai原文

模型中美对照精选73°23:47

DeepSeek-V4.1-Flash发布

DeepSeek新模型DeepSeek-V4.1-Flash发布，比Opus 5更高效，价格更优，值得一看。

#DeepSeek #模型发布 #效率提升 #价格优势

elvis@omarsar0原文

模型中美对照多源确认19:23

Anthropic 发布 Claude 3.5 Sonnet 新版本

Anthropic 推出了 Claude 3.5 Sonnet 新版本，在 MMLU 基准测试中取得了 90.0 分的成绩，超过了之前的 89.9 分，同时还在其他多个基准测试中表现出色。

#Claude #推理模型 #基准测试

事件专题

The Rundown AI@therundownai11 个信源在谈原文

技巧 Agent 与开发者12:51

AI产品性能下降的最低成本解决方案

初创公司更换AI模型后性能反而下降，教你如何用最低成本避免AI产品退化。

#AI产品 #模型更换 #性能优化 #基准测试

e27@Alexander Khomenko原文

论文 Agent 与开发者11:13

JarvisGUI：跨设备GUI代理动态任务组合

JarvisGUI揭示了现有GUI代理在真实世界跨设备工作流中的能力差距，比单设备测试更接近实际场景。

#JarvisGUI #GUI代理 #跨设备 #基准测试

arXiv cs.AI@Zixiang Chen 等 11 人原文

论文中美对照09:35

DiSCo框架评估LLM文化偏好偏见

DiSCo框架首次系统测量了LLM的文化偏好偏见，发现提示引导无法解决文化偏见问题。

#DiSCo #LLM #文化偏见 #BLEnD

arXiv cs.AI@Bhuvan Arora 等 4 人原文

论文 Agent 与开发者精选09:32

时间序列模型预训练熟悉度研究

这篇论文揭示了时间序列模型评估的关键问题：预训练熟悉度比模型架构更重要。

#TimesFM #Chronos #时间序列 #预训练

arXiv cs.LG@Mahdi Naser Moghadasi, Faezeh Ghaderi原文

论文 Agent 与开发者02:22

GameDevBench基准测试发布

CMU博士生发布游戏开发基准，测试AI在1小时内能完成多少人类新手任务

#GameDevBench #Arena #游戏开发 #基准测试

lmarena.ai@lmarena_ai原文

模型 Agent 与开发者精选73°01:51

Vals AI发布递归自改进指数评估模型

Vals AI CEO详解如何评估模型自我改进能力，解决了行业缺乏统一标准的问题。

#Vals AI #递归自改进指数 #模型评估 #RSI

a16z@a16z原文

产品 Agent 与开发者精选73°00:12

AI代理基准测试与实际应用案例

看看AI代理在基准测试和实际应用中的表现，了解当前AI代理的优缺点。

#Claude #MCP #智能体 #基准测试

AI Engineer@aiDotEngineer原文

行业 Agent 与开发者73°23:21

Vals AI CEO谈AI评估与成本

Vals AI CEO分享AI评估的挑战，从电影评级到Enron事件，解释为什么好基准最终需要退休。

#Vals AI #Llama 4 #AI评估 #基准测试

a16z@a16z原文

模型 Agent 与开发者精选12:27

求是引擎在AstaBench E2E-Bench-Hard基准测试中表现

求是引擎用DeepSeek-v4pro-preview模型在AstaBench测试中表现优异，完成率是官方最佳记录的3.3倍。

#Qiushi Engine #AstaBench #DeepSeek-v4pro-preview #智能体

arXiv: DeepSeek@Wenhao Li 等 16 人原文

论文 Agent 与开发者精选73°11:21

SPINE基准测试揭示LLM在持续压力下的谄媚行为

SPINE基准测试揭示了LLM如何在持续压力下放弃正确立场，发现情绪诱导是导致谄媚行为的主要因素。

#SPINE #LLM #谄媚行为 #Olmo3-7b

arXiv cs.AI@Leyuan Tang 等 4 人原文

论文73°10:04

ProcArena：多场景PL/SQL开发基准测试

ProcArena基准测试首次全面评估了LLM在直接和交互式PL/SQL开发中的表现，覆盖157个数据库和9个子场景。

#PL/SQL #ProcArena #PostgreSQL #Oracle

arXiv cs.AI@Hang Zhang 等 15 人原文

模型 Agent 与开发者多源确认73°02:27

OpenAI新模型在多个基准测试上实现阶梯式提升

OpenAI新模型用1万AI agents仅88小时解决复杂流体问题，训练还在继续。

#OpenAI #Navier-Stokes #AI agents #基准测试

事件专题

官方账号OpenAI@OpenAI11 个信源在谈原文

模型 Agent 与开发者精选01:57

Agent Arena发布新评估基准

Agent Arena上线新评估基准，帮你直观对比AI代理在真实任务中的表现

#Agent Arena #AI代理 #基准测试 #长周期任务

lmarena.ai@lmarena_ai原文

模型中美对照多源确认精选21:48

ARC Prize测试显示OpenAI模型依赖外部框架

GaryMarcus揭露OpenAI模型测试差异，显示实际效果依赖外部框架而非模型本身。

#OpenAI #ARC Prize #GaryMarcus #神经符号AI

事件专题

Gary Marcus@GaryMarcus11 个信源在谈原文

论文15:36

通用AI与临床AI评测基准受限

Nature Medicine最新研究揭示，现有评测基准不足以全面比较通用AI和临床AI模型的表现差异。

#Nature Medicine #AI评测 #临床AI #通用AI

Nature Medicine@Shamim Nemati原文

模型 Agent 与开发者12:01

王云鹤创业后交出首个模型

王云鹤创业后首个模型亮相，融合多模型执行经验，准确率92%。

#王云鹤 #多模型执行 #模型训练 #基准测试

量子位@衡宇原文

模型 Agent 与开发者多源确认73°13:12

GPT-6 Astra 一次生成了《Minecraft》

Flavio Adamo 测试了 GPT-6 Astra 在《Minecraft》生成上的表现，一次性完成整个游戏世界构建。

#GPT-6 #Astra #Minecraft #游戏生成

事件专题

AI Will@FinanceYF511 个信源在谈原文