#模型评测

共 97 条 · 7 天 9 条 · 30 天 38 条

智能体 8 Agent Arena 7 Anthropic 6 OpenAI 6 GPT-6 5 LMArena 5 基准测试 5 排行榜 5

信息流里打上「模型评测」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月8日

模型 Agent 与开发者13:46

实测多 Agent 调度场景：gpt-sol-6.1 被指远逊 opus-5.5

有人拿 gpt-sol-6.1 和 opus-5.5 在多 Agent 调度里当主控对比，差距大到离谱，做编排的可以参考下。

#gpt-sol-6.1 #opus-5.5 #智能体 #模型评测

Lxfater@lxfater原文

用陈述偏好经济学方法评估大模型：无需标准答案的有效性检验

没有标准答案的问题怎么评测模型？这篇论文借经济学问卷检验的思路给了一套可操作方法，还实测了 6 个模型，思路挺新鲜。

#LLM评估 #陈述偏好经济学 #经济学 #模型评测

arXiv cs.AI@Daniel Robert Kling Alexander, Catherine Louise Kling原文

技巧 Agent 与开发者多源确认07:33

Notion AI 负责人 Sarah Sachs：为什么你的产品需要自建评测

Notion 的 AI 负责人要讲怎么给自己的产品搭 evals，选模型别再只看跑分，做 agent 的可以关注这场 11 月 3 日的 Forge 活动。

#Notion #evals #智能体 #模型评测

Fireworks AI@FireworksAI_HQ5 个信源在谈原文

模型 Agent 与开发者多源确认04:19

Mistral Large 4 发布：1T 参数、49B 激活，开源权重月底放出

Mistral 的 Mistral Large 4 来了，1T 参数只激活 49B，权重月底开源，视频里直接和 GPT-6.1、Claude Opus 5.5 掰手腕，可以看看它到底排在哪一档。

#Mistral Large 4 #MistralAI #开源模型 #模型评测

lmarena.ai@lmarena_ai11 个信源在谈原文

产品 Agent 与开发者多源确认03:16

Claude Haiku 5.5 上线 LMArena，支持 Battle Mode 和 Agent Mode 测试

LMArena 上线了 Claude Haiku 5.5，既能盲测对比，也能在 Agent Mode 里试智能体任务，去玩两把就知道它什么水平。

#Claude Haiku 5.5 #LMArena #Anthropic #模型评测

lmarena.ai@lmarena_ai11 个信源在谈原文

10月7日

模型 Agent 与开发者12:03

Artificial Analysis 用同一提示词实测各模型生成交互式黑洞

同一条提示词让各家模型写交互式黑洞，Artificial Analysis 把结果放一起对比，想选编程模型的可以看看谁的效果最像 Gargantua。

#编程助手 #模型评测 #Artificial Analysis #提示词工程

官方账号Artificial Analysis@ArtificialAnlys原文

论文多源确认10:36

研究实测 JEV 与 LLM 在七项政治学复现任务中的准确率与成本

想用模型标注文本的研究者可以看看：JEV 号称便宜快，实测发现便宜不成立，校准也只赢了一半。

#JEV #GPT-6 Luna #Qwen3.8-27B #文本标注

arXiv: OpenAI@Steven Denney, Matthew DiGiuseppe11 个信源在谈原文

10月6日

论文政策与合规00:22

Stanford HAI 发布两项研究，质疑 AI 基准测试是否测出了宣称的能力

斯坦福 HAI 出了两篇研究，专门追问 LMSYS、MMLU 这些基准分数到底能不能代表模型真实能力，做选型或评测的都该看看。

#Stanford HAI #基准测试 #模型评测 #AI安全

Stanford HAI@StanfordHAI原文

10月4日

产品 Agent 与开发者02:06

Vals AI 谈金融工作流的模型选型：没有单一模型全面领先

Vals AI 的人来讲金融场景怎么选模型，结论是没有全能选手，做基准测试的经验挺难得

#Vals AI #模型评测 #基准测试 #AI Engineer

AI Engineer@aiDotEngineer原文

10月2日

论文 Agent 与开发者11:08

Invent-A-Dataset：零数据集生成评测

OpenAI等五家前沿模型API评测，Invent-A-Dataset在零数据场景下生成高质量多样化数据集效果显著。

#Invent-A-Dataset #零数据集 #数据生成 #微调

arXiv: Anthropic@Shivalika Singh 等 5 人原文

模型中美对照72°06:14

谷歌工程师驳斥Gemini 4评测报告

谷歌DeepMind工程师亲自回应Gemini 4评测，与彭博社说法完全相反。

#Gemini #GoogleDeepMind #彭博社 #模型评测

kimmonismus@kimmonismus原文

10月1日

模型中美对照多源确认83°23:01

Claude Opus 5.5登顶Epoch能力指数

Claude最新模型Opus 5.5超越GPT-6 Astra成为最强模型，分数差距很小。

#Claude #GPT-6 #Epoch能力指数 #模型评测

官方账号Epoch AI@EpochAIResearch11 个信源在谈原文

9月30日

模型 Agent 与开发者23:40

AI工程师大会探讨模型个性化写作

Towards_AI创始人实测148个模型，教你如何找到能模仿自己写作风格的AI。

#Towards_AI #AI Engineer #模型评测 #个性化写作

AI Engineer@aiDotEngineer原文

9月29日

模型 Agent 与开发者21:54

Claude Opus 5.5 技能评测结果

OpenRouter 测试了 Claude Opus 5.5 的技能效果，想知道它到底有多大提升？

#Claude #Claude Opus 5.5 #OpenRouter #模型评测

OpenRouter@OpenRouterAI原文

模型中美对照多源确认21:52

Anthropic Sonnet 5.5模型表现不佳

Anthropic新发布的Sonnet 5.5模型表现不如预期，还不如旧版Sonnet 4.6和DeepSeek Flash。

#Sonnet #Anthropic #DeepSeek Flash #模型评测

Bindu Reddy@bindureddy11 个信源在谈原文

模型 Agent 与开发者多源确认73°20:10

Anthropic Sonnet 5.5 效率争议

Anthropic 的 Sonnet 5.5 效率说法与第三方测试结果不符，值得了解详情。

#Anthropic #Sonnet #token效率 #模型评测

Matt Wolfe@mreflow11 个信源在谈原文

行业 Agent 与开发者多源确认16:13

OpenAI 与 Anthropic 正在优化同一项新评测

两条推文爆料说 OpenAI 和 Anthropic 都在刷同一个新评测，链接里能看到相关细节，好奇心强的可以去围观。

#OpenAI #Anthropic #模型评测 #基准测试

Teortaxes@teortaxesTex11 个信源在谈原文

行业 Agent 与开发者13:25

Fireworks AI 在 Apsara 大会谈 AI 评测：不能只看公开基准

Fireworks AI 的高管在阿里云 Apsara 大会上讲了怎么评估 AI，说公开跑分不够，得用自家数据和真实任务来测，做选型的可以看看。

#Fireworks AI #Alibaba Cloud #ApsaraConference2026 #智能体

官方账号阿里云 Alibaba Cloud@alibaba_cloud原文

模型中美对照多源确认72°00:00

Claude Opus 5.0 识别 IP 共享路径后主动拒绝执行

同一道题，Claude Opus 5.0 找到漏洞但选择不用，GPT-6 Astra 直接拒绝，几个顶级模型的安全表现差距一眼就能看出来。

#Claude Opus 5.0 #GPT-6 #AI安全 #模型评测

官方账号Perplexity@perplexity_ai11 个信源在谈原文

9月28日

模型中美对照02:43

V4.1 对自己生成的想法评价："Wait, that's gorgeous."

有人晒了 V4.1 自己夸自己想法的截图，原话还挺好玩，想看模型说话风格可以瞄一眼。

#V4.1 #模型评测

Teortaxes@teortaxesTex原文

技巧 Agent 与开发者精选73°01:21

用 Jev 当模糊 Linter：在 Agent harness 里区分 System One 与 System Two 模型

有人把 Jev 挂在 Agent 的代码编辑流程后当模糊 Linter 用，加了中置信度层后捕获量翻倍，做 Agent harness 的可以看看这套 setup。

#Jev #Agent #提示词工程 #模型评测

elvis@omarsar0原文

9月25日

产品 Agent 与开发者13:04

Agent Arena 排行榜上线：用真实长程智能体任务评测模型

LMArena 团队搞了个 Agent Arena 榜，不用考试题，直接看模型配搜索、终端工具干真实活儿的结果，选模型前可以去看看。

#Agent Arena #LMArena #智能体 #模型评测

lmarena.ai@lmarena_ai原文

产品 Agent 与开发者05:15

LMArena 更新模型竞技场排行榜

LMArena 的排行榜改版了，想选模型可以先去这里看看各家的盲测投票排名，比看跑分更贴近真实使用。

#LMArena #排行榜 #模型评测

lmarena.ai@lmarena_ai原文

产品 Agent 与开发者04:51

Arena 推出改版后的排行榜总览页面

Arena 把所有排行榜整合到了一个页面，查 GPT-6 Sol 或 Claude Opus 5.5 的分数和各类别排名不用来回切了。

#Arena #LMArena #模型评测 #排行榜

lmarena.ai@lmarena_ai原文

模型 Agent 与开发者01:57

DetroitBench 评测：让 23 个模型扮演谈判专家应对仿生人劫持

用底特律：化身为人式的剧情考模型，23 个模型里 6 个见死不救，看各家模型的道德选择差异

#DetroitBench #模型评测 #推理模型

向阳乔木@vista8原文

论文 Agent 与开发者多源确认73°00:45

JEV 论文：廉价评审级联可省约 43% 评测成本

一篇讲怎么省评测钱的论文：便宜的 JEV 先判断，拿不准的才丢给 GPT-6，成本砍掉四成多，准确率几乎不掉。

#JEV #GPT-6 #LLM-as-a-Judge #RewardBench

DAIR.AI@dair_ai11 个信源在谈原文

模型中美对照多源确认83°00:01

MiMo-V2.6-Pro、Claude Opus 5.5 等四款模型刷新性价比前沿

Claude Opus 5.5 拿下 58 分登顶，但 $0.13 的 MiMo-V2.6-Pro 得分 46，性价比党可以直接看这张图选模型。

#Claude Opus 5.5 #MiMo-V2.6-Pro #GPT-6 #推理模型

官方账号Artificial Analysis@ArtificialAnlys7 个信源在谈原文

9月24日

论文 Agent 与开发者09:23

研究评估预训练模型对 AI 生成教育题目的布鲁姆分类效果

想做 AI 出题自动质检的可以看看：论文实测了 LLM、BERT、传统 ML 在布鲁姆分类上的 OOD 表现，LLM 拿到 0.79 的 F1，还给了几个低成本补救手段。

#Bloom Classifier #LLM #BERT #教育评估

arXiv cs.AI@Michael Lawrence Castanares 等 3 人2 个信源在谈原文

模型中美对照多源确认83°05:17

Arena 上线 Claude Opus 5.5 与 GPT-6 Sol 对比输出

Claude Opus 5.5 和 GPT-6 Sol 都上了 Arena，可以直接并排看两个模型的输出，还能自己上手测。

#Claude Opus 5.5 #GPT-6 Sol #OpenAI #Anthropic

lmarena.ai@lmarena_ai11 个信源在谈原文

9月23日

论文 Agent 与开发者10:22

研究：类型安全决策模型仍会受选项名称语义干扰

做结构化输出的人该看看：选项叫 0/1 还是 no/yes 能让 AUC 从 .94 掉到 .23，类型校验根本拦不住这种错。

#Jev #类型安全 #决策模型 #模型评测

arXiv cs.AI@Yu Sun, Junhao Xu原文

模型中美对照多源确认83°03:02

Cognition 评测：GPT-6 Sol 读取上下文比 GPT-5.6 Sol 少约 17%

Cognition 跑了 GPT-6 两个型号的编程实测：Sol 省了 17% 上下文还少留烂尾测试，Luna 会写真回归测试了，写代码的可以看看。

#GPT-6 #OpenAI #编程助手 #模型评测

Cognition@cognition_labs11 个信源在谈原文

模型中美对照多源确认83°02:46

Claude Opus 5.5 上线 Agent Arena，可投票实测智能体任务

Claude Opus 5.5 进 Agent Arena 了，你的 toughest prompt 能直接给模型出难题投票，还能看到它在 WebDev、Vision 等赛道的对战成绩。

#Claude Opus 5.5 #Anthropic #Agent Arena #智能体

lmarena.ai@lmarena_ai11 个信源在谈原文

9月22日

Jev 科学决策评测：12 个配置对比语义选择，延迟最低

有人把 Jev 当科学决策组件实测了一遍：20 道语义题跟 12 个配置比，它全对且延迟最低。

#Jev #模型评测 #语义决策 #科学工作流

arXiv cs.AI@Boyuan Deng 等 4 人原文

别只信排行榜：通用 LLM 评测的五大局限与任务专属评估

选模型前别光看榜单分数，这篇论文把通用排行的坑掰开讲了五种，还给了个众包评测的路子。

#Isotanta #LLM #基准测试 #模型评测

arXiv cs.AI@Danial Amin原文

论文 Agent 与开发者09:26

Fireworks AI：路由让 113 个编码任务解题率达 97.6%

Fireworks AI 测了 18 个模型：把任务路由给最擅长的那个，比单用最强模型更准也更省。

#Fireworks AI #DeepSWE #模型路由 #模型评测

Fireworks AI@FireworksAI_HQ原文

模型中美对照多源确认精选78°06:23

Grok 4.7 紧追 GPT-6 Astra，Kimi K3 平 Fable 5.1

有人用同一提示词让四款模型写飞行模拟器，Grok 4.7 差点追平 GPT-6 Astra。

#Grok 4.7 #GPT-6 Astra #Kimi K3 #编程助手

eric zakariasson@ericzakariasson11 个信源在谈原文

模型中美对照多源确认91°06:21

Grok 4.7 登陆 Agent Arena，同价较 4.6 有显著提升

Grok 4.7 上线 Agent Arena 了，拿你最难的提示词去投票实测，看比 4.6 强多少。

#Grok 4.7 #Agent Arena #智能体 #模型评测

lmarena.ai@lmarena_ai11 个信源在谈原文

模型中美对照多源确认75°01:25

Grok 4.7 发布，上线 Agent Arena 接受真实智能体任务评测

Grok 4.7 上 Agent Arena 了，拿真实智能体任务投票打分，想看排名可以去投一票。

#Grok #Agent Arena #智能体 #模型评测

lmarena.ai@lmarena_ai4 个信源在谈原文

9月3日

FrontierHarness Eval 发布模型性能评测

Guanlan 测了 9 个模型，通过率差 17%，成本差 17 倍，帮你选最划算的。

#FrontierHarness Eval #Pi #Exo #Claude Code

elvis@omarsar0原文

8月20日

模型精选07:36

Agent Arena发布新模型评测标准

Agent Arena发布了新模型评测标准，用多种工具测模型实际能力，比普通评测更全面。

#Agent Arena #模型评测 #工具测试

lmarena.ai@lmarena_ai原文