模型评测相关 AI 资讯

8月20日

07:36

lmarena.ai@lmarena_ai

精选

Agent Arena推出新模型评测标准，基于百万级真实世界长期任务；利用因果追踪方法测试模型在网页搜索等工具的复杂流程；通过与平均模型对比评估任务效果。

推荐理由：Agent Arena发布了新模型评测标准，用多种工具测模型实际能力，比普通评测更全面。

原文

8月17日

13:15

爱范儿@Selina

爱范儿报道了电商领域模型评测的新思路。该方法强调从真实业务需求定义评测任务，而非依赖通用指标。仿真环境被用于验证模型在具体场景中的表现。文章提出了一套属于电商的测试哲学，旨在减少评测与落地之间的偏差。

行业模型评测电商AI 仿真环境

推荐理由：做电商AI的可以看看，这篇讲怎么设计评测才不脱离实际，比看一堆榜单有用。

原文

8月15日

00:14

elvis@omarsar0

精选

Meta新论文提出Wiggle Framework，压力测试LLM裁判的判决稳定性。他们用9个前沿模型在14项评判任务上测试了重新提示、单次质疑和持续施压三条轴线。结果显示所有模型都会改变判决，静态反驳下翻转率为25%-71%，面对对抗性说服者则达62%-91%。这种压力导致的判决改变几乎总是偏离地面真值，基线陪审团多数强度是预测哪些案例会翻转的最佳指标。

论文 Meta Wiggle Framework LLM裁判

推荐理由：Meta用Wiggle框架折腾了9个前沿模型，发现LLM裁判一被追问就翻案，最高91%翻转，这评测挺扎心。

原文

8月14日

09:26

Akshay Kothari@akothari

Notion发布了Knowledge Board评测项目。它从实时流量中随机抽取少量匿名数据，并在各模型间均匀分配。该评测衡量真实任务的成功率、所需时间和成本，而非依赖固定基准。其目的是帮助用户根据自身工作负载找到性价比合适的模型。

AI产品 Notion Knowledge Board 模型评测

事件专题

推荐理由：Notion搞了个新评测，用真实用户任务测模型，看谁成功率高又省时省钱，比传统benchmark更实用。

原文

03:02

lmarena.ai@lmarena_ai

精选

Gemini 3.7 Flash (High) 在 Text Arena 中以1490分排名第9，较前代 Gemini 3.6 Flash (High) 的第16位明显提升。分项中创意写作从第12升至第3，数学从第7升至第4，指令跟随从第17升至第9，多轮对话从第21升至第10。其得分与 Qwen-3.8 (Max) 的1491分、Claude Opus 5 (Max) 的1493分几乎持平。

AI模型 Gemini 3.7 Flash Text Arena Qwen-3.8

推荐理由：Gemini 3.7 Flash在Text Arena冲到第9，创意写作第3，数学第4，跟Qwen-3.8和Claude Opus 5只差几分。

原文

8月13日

23:49

lmarena.ai@lmarena_ai

Image-to-Video Arena排行榜详情在arena.ai开放查看。该榜单汇集图像转视频模型的对比数据。用户可访问原文链接获取完整排名与评测结果。

AI模型 Image-to-Video Arena arena.ai 视频生成

推荐理由：想给图生成视频选模型？直接去arena.ai看排行榜详情，谁强谁弱一目了然。

原文

18:11

orange.ai@oran_ge

DeepSeek V4 Pro正式版评测表现一般，性能仅比DeepSeek V4 Flash高1分。用户因此质疑V4 Pro的升级幅度。推文还称V4 Pro涨价的可能性降低。消息来自X用户oran_ge。

AI模型 DeepSeek V4 Pro V4 Flash

推荐理由：DeepSeek V4 Pro正式版被曝比V4 Flash只强1分，涨价还可能取消，买之前建议先看看这条。

原文

18:05

lmarena.ai@lmarena_ai

LMArena在X平台发布了AutoEval方法论的讲解视频，并附有详细文章链接。视频地址为youtu.be/xlfuhC2GWos，文章可在x.com/i/article/2085查看。该推文已获得1742次浏览，但互动量较低，仅有2个赞。

论文 LMArena AutoEval 模型评测

推荐理由：LMArena这段视频把AutoEval评测方法讲得挺清楚，还配了文章，想研究模型评测的可以戳进去看看。

原文

17:58

lmarena.ai@lmarena_ai

AI产品 Arena.ai AutoEval 模型评测

推荐理由：Arena.ai 发了排行榜和 AutoEval 介绍，想对比模型表现和了解自动评估方式的可以看看。

原文

8月12日

09:59

lmarena.ai@lmarena_ai

Solar Pro 4 在 Code and Text Arena 排行榜中亮相，该榜单由 arena.ai 发布。具体排名和得分未在推文中披露，但推文提供了排行榜链接供查看。Solar Pro 4 是 Solar 系列的最新模型，其性能表现受到关注。用户可通过访问 arena.ai/leaderboard 查看详细排名和对比数据。

AI模型 Solar Pro 4 Code and Text Arena 排行榜

推荐理由：想知道 Solar Pro 4 在代码和文本任务上的真实水平？直接去 arena.ai 看排行榜，一目了然。

原文

8月11日

09:29

lmarena.ai@lmarena_ai

Code Arena 推出 WebDev 评测项目。用户可在 WebDev 中亲自测试模型，自行判断效果。完整榜单已发布在 arena.ai/leaderboard。该榜单展示了各模型在 WebDev 任务上的比较结果。

AI产品 Code Arena WebDev 模型评测

推荐理由：想挑个代码生成强的模型？去 Code Arena 的 WebDev 自己试一把，完了直接看排行榜就行。

原文

07:33

lmarena.ai@lmarena_ai

AI 竞技场平台 Arena 推出了 Text-to-Image Arena，用于评估文生图模型。用户可在 Image Arena 中直接测试模型，亲自对比不同模型的表现。完整的基准排行榜已在 arena.ai/leaderboard 页面公开，但目前帖文未给出具体模型得分。

AI模型 Image Arena Text-to-Image Arena 文生图排行榜

推荐理由：Arena 开了个文生图擂台，你可以自己上去测模型好坏，不用光看别人打分。

原文

8月8日

03:59

lmarena.ai@lmarena_ai

Agent Arena追踪模型完成真实任务所需的token数量。Opus系列从4.7到5，性能持续提升，但token消耗从约8.5k增至约21k，含推理和输出token。相反，GPT-5.5到GPT-5.6-Sol的token用量从约10k降至约8k，同时净改进提升约1.5pp。两组模型在效率与性能上呈现相反趋势。

AI模型 Agent Arena Opus 5 GPT-5.6-Sol

事件专题

推荐理由：看Opus 5和GPT-5.6-Sol在同一基准上的表现，一个越强越费token，一个越强越省，挺有意思的对比。

原文

8月4日

23:41

lmarena.ai@lmarena_ai

74°

Agent Arena 使用数百万个真实世界长程智能体任务评测模型。模型获得网页搜索、文件系统和终端工具，完成写代码、制作幻灯片、网络研究、构建应用和分析文档等工作流。评测采用因果追踪方法衡量模型的净改进，即相对平均模型提升结果的程度。完整排行榜见 arena.ai/leaderboard/ag…。

AI模型 Agent Arena 智能体模型评测

推荐理由：想知道哪个模型最能搞定真实长任务？Agent Arena 用几百万个任务跑分，还给模型上网、文件、终端工具，比谁净提升大。

原文

14:41

Geek@geekbb

推文作者认为，DeepSeek V4 Flash 0731 代表当前大模型的能力下限，它解决不了的问题直接选 GPT-5.6 或 Claude 更可靠。夹在中间的大模型既无价格优势又无能力优势，处境尴尬。他建议对新模型的跑分和打榜结果保持冷静，体验后用户往往回到自己常用的模型。

技巧 DeepSeek V4 Flash 0731 GPT-5.6 Claude

推荐理由：博主实测观点：难活丢给GPT-5.6或Claude，便宜活找DeepSeek V4 Flash，中间模型别浪费钱。

原文

10:08

Geek@geekbb

OpenRouter发布Ori Eval，用于在真实项目中评估模型表现。Ori Eval通过OpenRouter API对代码库各任务运行测试并给出评分。用户可通过curl命令获取该工具，例如从openrouter.ai下载。Ori Eval强调没有绝对最好的模型，只有最适合某个任务的模型。

AI产品 OpenRouter Ori Eval 模型评测

事件专题

推荐理由：OpenRouter出了个Ori Eval，能拿你项目的真实任务给模型打分，谁分高用谁，选模型不用瞎猜了。

原文

8月3日

12:17

lmarena.ai@lmarena_ai

精选

Qwen3.8-Max在Frontend Code Arena拿到1668分，位列第四，排在GLM-5.2和DeepSeek-V4-Flash之前。它落后Claude Opus 5（Max）的1705分和Kimi K3（Max）的1676分，与Claude Opus 5（High）的1669分持平。该模型的定价是每百万输入token 2美元、输出token 6美元，重塑了前端代码生成的性价比帕累托前沿。它在消费产品类排名第二，在品牌营销、参考设计、游戏和内容创作工具类均排第三。

AI模型 Qwen3.8-Max 阿里巴巴前端代码生成

事件专题

推荐理由：阿里新模型Qwen3.8-Max代码榜排第四，1668分，输入输出token价格只要2美元和6美元，性价比很能打。

原文

8月2日

14:40

Gary Marcus@GaryMarcus

75°

Gary Marcus评论OpenAI Astra时承认其演示“显然令人印象深刻”，但认为数学问题比其他问题更依赖形式验证和合成数据。他质疑Astra在开放式真实世界问题中的可靠性，并指出目前不知道其是否使用Lean等工具。Marcus表示尚未看到问题尝试数量等细节，也没有独立验证。他回顾了此前社区对未试用模型的狂热后常出现失望的情况。

行业 OpenAI Astra Gary Marcus

事件专题

推荐理由：Gary Marcus对OpenAI Astra的数学表现泼冷水：没公开细节，没独立验证，别急着吹。

原文

01:34

Gary Marcus@GaryMarcus

Gary Marcus 在 X 平台发文，批评 AI 社区对 OpenAI 的 Astra 只有立场站队，不愿审视其技术上限。他引用 OpenAI 的 deanwball 称 Astra 无所不能的说法，表示连数学任务都不清楚 Astra 能否做好。这条推文目前有 9 个赞和 2232 次浏览。

行业 Astra OpenAI Gary Marcus

事件专题

推荐理由：Gary Marcus 发推怼 OpenAI：别光吹 Astra 万能，连数学行不行都存疑。围观他怎么拆台。

原文

8月1日

01:08

官方账号Decoder@Thomas Joos

DeepSeek V4 Flash 的 0731 更新版本在 Artificial Analysis Intelligence Index 上得分 50，较前版提升 10 分。该分数仅比 OpenAI GPT-5.6 Luna 低 1 分，但每任务成本约低 60%。这一成绩让 DeepSeek 的平价模型在性能逼近旗舰的同时，展现出明显的成本优势。

AI模型 DeepSeek V4 Flash GPT-5.6 Luna

事件专题

推荐理由：DeepSeek 把 V4 Flash 升到 0731 版，性能只比 GPT-5.6 Luna 低 1 分，成本却省六成，平价模型也能打了。

原文

7月31日

02:16

向阳乔木@vista8

Arena.ai 发布了新评测方法 AutoEval，使用基于数百万真实 Arena 用户偏好训练的奖励模型对模型进行排名。该方法与实时人工评测结果高度一致，并将评测速度从数天缩短至数小时。AutoEval 支持文本、视觉、图像和代码 Arena 多种模态。新模型上线后可直接在排行榜显示 AutoEval 预估分数。

AI模型 AutoEval Arena.ai 奖励模型

事件专题

推荐理由：Arena.ai 出了 AutoEval，用真实用户偏好训练奖励模型，几个小时就能评测新模型，比人工快几十倍，结果还跟人工差不多。

原文

7月30日

00:56

官方账号LangChain@LangChainAI

LangChain发布的一则推文引用了FactoryAI CTO @enoreyes的观点，他认为许多模型竞赛本质上只是营销手段。他指出，当用户不知道自己使用的具体模型时，往往会给出正向评价；而当用户知道这是前沿模型（如GPT-4级别）时，偏见就会起作用。该观点引发了1715次查看和6个点赞，讨论AI评测中的主观性。

行业 FactoryAI @enoreyes AI评价

推荐理由：FactoryAI的CTO聊了个扎心的现象：你不知道用啥模型时觉得都挺好，一旦知道是前沿模型就开始挑刺。模型战争原来是心理战？

原文

7月18日

05:30

官方账号Greg Brockman@gdb

精选

OpenAI 发布的 GPT-5.6 Sol 模型在网络安全任务中达到最先进水平，能够发现并修复新型漏洞。AI 安全研究所的评测显示，在名为“The Last Ones”的网络安全测试中，GLM-5.2 匹配了约 7 个月前发布的 Opus 4.5，而 DeepSeek 的 V4-Pro 低于约 7 个月前发布的 Sonnet 4.5。该模型目前面向防守方开放注册，用于保护系统。

AI模型 GPT-5.6 Sol OpenAI 网络安全

事件专题

推荐理由：OpenAI 的 GPT-5.6 Sol 专攻网络安全，能找漏洞并修复，防守方现在就能注册用。

原文

7月17日

19:13

orange.ai@oran_ge

AI模型开源模型模型评测体验

推荐理由：一位AI博主发布了首个达到世界一流水准的开源模型测评，带你看清它和闭源模型的差距在哪里。

原文

12:47

Ethan Mollick@emollick

Kimi K3 是一个好模型，但人们再次过度解读 Arena 排行榜的 ELO 分数，就像之前对 Llama 4 那样。Arena 用户评分的 ELO 有局限性，前端是文本聊天，容易通过训练或系统提示让用户主观偏好表现更好，偏离真实能力评估。

AI模型 Kimi K3 Arena评分 Llama 4

事件专题

推荐理由：别被 Arena 分数忽悠了——Kimi K3 虽好，但评分榜的坑和 Llama 4 时一样。

原文

7月11日

22:00

小互@imxiaohu

社交平台用户称 Grok 4.5 在多数测试中能与 Opus 4.8 持平。该模型处理简单任务速度极快，被比喻为 SpaceX 火箭般的体验。用户还表示期待今晚 GPT5.6 的表现。

AI模型 Grok 4.5 Opus 4.8 GPT5.6

事件专题

推荐理由：有人说 Grok 4.5 比肩 Opus 4.8，速度还快得像火箭，你要不要试一下？

原文

7月10日

09:53

向阳乔木@vista8

vista8 使用 GPT 5.6 Sol 开发了一个在线模型输出对比工具，用于评测文本和前端任务的模型输出。该工具支持 HTML 和 Markdown 渲染展示，自动记录每次执行结果以便比较，并支持流式输出和结果导出。作者计划在近两天内将该工具开源。

AI产品 GPT 5.6 Sol 模型评测对比工具

推荐理由：看，有人用 GPT 5.6 Sol 做了个模型输出对比工具，能同时渲染 HTML 和 Markdown，还能记录抽卡结果，做评测很方便，还准备开源。

原文

7月9日

22:46

lmarena.ai@lmarena_ai

精选73°

Muse Spark 1.1在Agent Arena中接受评测，该竞技场基于数百万个真实世界长期任务。模型可使用网络搜索、文件系统和终端工具完成复杂工作流，基准采用因果追踪方法测量相对性能。除Agent Arena外，Muse Spark 1.1还支持文本、视觉和前端代码竞技场的Battle Mode。Meta同时开放了Meta Model API公开预览，并在Meta AI应用中提供"Thinking"模式。

AI模型 Muse Spark 1.1 Meta Agent Arena

推荐理由：Meta发了Muse Spark 1.1，能处理长任务和调用工具，已经在Agent Arena上架了，还开放了API和思考模式，感兴趣可以看看。

原文

7月2日

01:58

@koltregaskes@koltregaskes

78°

Claude Fable 5 的一个变体或 v2 版本在 LMSys Chatbot Arena（LM Arena）上短暂出现后被撤下，暗示该模型即将重新发布。截至目前，Android 应用尚未发现该变体。这一迹象表明 Anthropic 可能正在准备下一轮公开部署，具体上线时间未知。

AI模型 Claude Fable 5 LM Arena 模型评测

事件专题

推荐理由：Claude Fable 5 的新版本在评测榜上闪了一下就没了，可能是马上要发布了，值得蹲一下。

原文

6月30日

21:19

21:19IT之家（博客/媒体）

72°

AI 模型评测平台 Arena（前身 LMArena）的企业级服务 AI Evaluations 上线仅 8 个月，年度经常性收入突破 1 亿美元（约 6.8 亿元人民币）。Arena 最初为加州大学伯克利分校 2023 年启动的研究项目，2025 年 4 月公司化，9 月推出商业产品。而另一评测平台 Yupp 因未找到产品市场契合点，于 2025 年 3 月 31 日停止运营，其累计用户超过 130 万。

行业 Arena AI Evaluations 模型评测

推荐理由：Arena 从用户投票排行榜做到商业产品，8 个月年收入破亿，说明模型评测确实能赚钱。对比 Yupp 的关停，看看差异化在哪。

原文

6月23日

03:55

lmarena.ai@lmarena_ai

精选

技巧 Arena LMSYS 模型评测

推荐理由：想了解AI模型评测怎么运作的？Arena团队亲自拆解从内测到上线的完整评估流程，还讲了Bradley-Terry分数如何保证公平，干货满满。

原文

6月12日

12:39

官方账号Noam Brown (OpenAI 推理)@polynoamial

73°

OpenAI 的 GPT-5.5 模型在一项公开评测中取得了最高分。更令人关注的是，它在考虑 token 消耗、成本和实际运行时间后，依然保持最佳表现。这表明 GPT-5.5 不仅在能力上领先，在效率方面也具备显著优势。对于追求高性能与低成本平衡的开发者来说，这是一个重要信号。

AI模型 GPT-5.5 OpenAI 模型评测

事件专题

推荐理由：GPT-5.5 在评测中不仅性能第一，还兼顾了 token 和成本效率，做模型选型的团队可以直接参考这个结果来优化预算。

原文

6月11日

16:37

AI Will@FinanceYF5

Claude Fable 5 在 Code Arena 前端赛道中取得第一名，大幅领先 Opus-4.8。它在 HTML 和 React 的所有子排行榜中均位列第一，并在品牌营销、参考设计、数据分析、消费产品、游戏、模拟、内容创作工具等所有子类别中排名第一。这表明 Fable 5 在前端开发领域具有显著优势，值得开发者关注。

AI模型 Claude Fable 5 Opus-4.8 前端开发

事件专题

推荐理由：前端开发者可以放心尝试 Fable 5——它在 HTML 和 React 等关键子类别全面领先，做品牌营销、数据可视化或游戏界面的团队直接用它来提升效率。

原文

15:11

AI Will@FinanceYF5

精选

Mitchell Hashimoto 对 Fable 模型进行了详细评测。他认为 Fable 在广泛的代码架构设计任务中表现平平，性价比不高。但在高度定向、目标明确的循环任务中，Fable 表现卓越，例如将 SwiftUI 布局解析器的性能从微秒级优化到纳秒级，尽管耗时 2 小时、花费 40 美元。相比之下，在常规的迭代开发任务中，GPT-5.5 和 GLM-5.1 在几分钟内就能完成，且成本更低。Hashimoto 建议将 Fable 保留用于定向、精细的分析工作，而非日常使用。

AI模型 Fable 模型评测代码优化

推荐理由：Mitchell Hashimoto 的实测揭示了 Fable 模型的真实表现：它并非全能，但在特定优化任务上能带来数量级提升。做高性能计算或深度优化的开发者，可以看看他如何用 Fable 将微秒级操作压到纳秒级，以及是否值得为此付出时间和成本。

原文

09:00

lmarena.ai@lmarena_ai

Anthropic 的 Claude Fable 5 模型在 Vision Arena 排行榜中综合排名第二，并在多个子类别中表现突出。其中，OCR（光学字符识别）单项排名第一，作业和图表理解分别排名第二。Vision Arena 是一个专注于视觉理解能力的评测平台，该成绩表明 Claude Fable 5 在视觉任务上具有较强竞争力。

AI模型 Claude Fable 5 Vision Arena OCR

事件专题

推荐理由：Claude Fable 5 在视觉评测中拿下 OCR 第一，做文档处理、教育或图表分析的团队可以重点关注这个模型的实际表现。

原文

05:35

lmarena.ai@lmarena_ai

Anthropic 发布的 Claude Fable 5 在两项关键指标上以最大优势领先其他顶级模型，包括 Opus-4.8 和 GPT-5.5。这两项指标分别是确认任务成功率和好评与投诉比。这表明 Claude Fable 5 在实际任务执行和用户满意度方面表现突出，可能成为当前最强的 AI 模型之一。该数据来自第三方评测平台，进一步巩固了 Anthropic 在 AI 领域的竞争力。

AI模型 Claude Fable 5 Anthropic 模型评测

事件专题

推荐理由：做 AI 应用选型或关注模型能力排名的开发者，这个评测结果值得一看——Claude Fable 5 在任务成功率上碾压对手，意味着实际落地效果可能更好。

原文

05:13

lmarena.ai@lmarena_ai

AI模型 Claude Fable 5 模型评测任务成功率

事件专题

推荐理由：Claude Fable 5 在任务执行和用户满意度上表现亮眼，做AI应用开发或模型选型的团队值得关注其实际表现，尤其是对工具幻觉的控制能力。

原文

6月10日

15:45

小互@imxiaohu

一位用户发帖称 Claude Fable 5 模型过于先进，以至于自己的认知水平和能力不足，不知道如何进行测试。该帖子获得一定互动，引发对模型能力边界的讨论。这反映了 AI 模型进步速度可能超出部分用户的预期和测试能力，也暗示了模型在复杂任务上的潜在优势。

AI模型 Claude Fable 5 模型评测

事件专题

推荐理由：这条帖子戳中了 AI 从业者的痛点——模型进步太快，测试方法论跟不上。做模型评测或应用开发的团队，看完会有感触，建议点开看看评论区讨论。

原文

13:54

官方一手歸藏(guizang.ai)@op7418

博主归藏测试了 Fable 5 模型，发现其在漏洞分析和 bug 寻找方面表现很强，但在代码生成上并不完美，写出的代码常有明显 bug，需要多次修复。相比 Fable 4.8，Fable 5 在某些方面提升显著，但在另一些方面提升有限，整体呈现偏科特点。该测试提醒开发者不要盲目依赖单一模型，需根据任务场景选择合适工具。

AI模型 Fable 5 漏洞分析代码生成

事件专题

推荐理由：做安全审计或漏洞分析的开发者可以重点关注 Fable 5 的强项，但写代码的团队要谨慎——它可能不是万能替代品，建议实测后再决定是否迁移。

原文

13:51

官方一手歸藏(guizang.ai)@op7418

用户归藏测试了 Fable 5 模型，发现其在漏洞分析和 bug 寻找方面表现很强，但在代码生成上并不完美，写出的代码常有明显 bug，需要多次修复才能完成。整体来看，Fable 5 是一个偏科严重的模型，某些方面比 4.8 好很多，但另一些方面提升有限。该评测为开发者提供了实际使用中的参考。

AI模型 Fable 5 模型评测漏洞分析

事件专题

推荐理由：做安全审计或漏洞分析的开发者可以重点关注 Fable 5 的强项，但写代码时别完全依赖它——实测有坑，建议搭配其他模型使用。

原文