想让编程智能体在陌生大仓库里干真活的人该看看这个基准。它不是改几行的小修小补,而是工程师写的真实变更请求,评分器能识别偷懒和作弊补丁。榜单上 Claude Opus 5.5 和 GPT-6 Astra 基本打平,选型做对比时很实用。
Latest
做图像生成的朋友可以关注一下,MiniMax 把 33.1B 的文生图模型权重放出来了,6 步就能出 16MP 大图,还支持最多 16 张参考图做编辑。跟 Flux 这类开源模型比,分辨率和步数都更激进,不过商用前记得看许可里的地域限制条款。
华为 openJiuwen 开源了 TTSE,把智能体经验分成环境事实和条件提示两轨管理,在 ALFWorld 跑到 97.8%,还减少了办公任务的工具调用。做智能体长期记忆和经验积累的可以看看源码,不过数据是自家评测,先自己跑一遍再下结论。
有人拿 105 个真实 bug 实测了几家旗舰模型,Gemini 4 Carbon 只差 0.7 分追平 Fable 5.2,花费却只有 $31.32 对 $139.65。做代码修复选型的人应该看看这份带价格的榜单,比官方宣传单靠谱。
有人用 Claude Fable 5.2 生成 3D 游戏,画面里城堡、小地图、对话和血条能同时跑起来,不再只是单个关卡。如果你关注模型做复杂生成任务的能力,这条演示视频值得点开看看效果。
阿里把 Qwen4-Max 预览版直接放上了 Token Plan,1 折就能跑,千问 App、Qoder 这些产品当天就接入了。想试新一代千问的 Agentic 和编程能力,现在成本很低,可以先拿自己的任务实测一轮再决定要不要跟进。
成都人形机器人创新中心的第五代贡嘎把记忆、因果推理和世界模型整合成了一套完整链路,机器人能记住物品位置并跨越多天完成任务,遇到意外还能自主改方案。做具身智能或家庭服务机器人的团队可以看看它的技术架构思路。
Moonshot 的 Kimi K3.1 Pro 进了 Amazon Bedrock,AWS 用户直接调 API 就能用,支持 OpenAI 兼容接口,迁移代码几乎不用改。文中还教了怎么开 prompt caching 省钱、怎么在 OpenCode 里当编程助手。做多云部署或想比较中美模型成本的工程师可以看看。
做安卓开发的朋友可以看看这份榜单:Kimi K3.1 Pro 30 项长程任务通过率 24.0%,超过了 Claude Fable 5.1 和 Gemini 4 Argon;DeepSeek V4.1 Flash 单次跑分只要 9.9 美元,预算敏感的团队选它更划算。
Browser Use 拿 Muse Ember 跑最难的长时程浏览器基准,63.9 分追平 GPT-6 Luna medium,单任务 3 美分还便宜 2.4 倍。做浏览器智能体的人可以算算换成 Ember 能省多少预算,跑几百步的长任务终于不用心疼钱了。
Artificial Analysis 和 Google 做了个专门测智能体处理复杂文档的基准,任务由行业专家写,还故意保密防止模型背题。首批数据里 Gemini 4 Carbon 分数略输 Claude Fable 5.2,但成本只有对方五分之一,做模型选型的人可以直接看榜单。
谷歌把 VLA 模型真送进奔驰产线了,Apollo 2 人形机器人拣零件成功率 96%,系蝴蝶结、移液这类精细活也能干。对比前代成功率提了 30% 到 100%,还开源了机器人越狱测试基准。做机器人和工业自动化的都该看看。
很多评测只考文本,MKA 专门考看图纸、做报告这类带视觉文件的真实工作,还统一了框架和评审系统,可信度比较高。做智能体产品的开发者可以直接在 Artificial Analysis 上跑自己的模型,也建议看看公开的 10 道题感受下难度。
谷歌这次真把安全研究员当主力用户了:SEC-bench Pro 拿到 88.2%,Wiz 用它两小时挖出零日漏洞,还能在 Antigravity 里一个提示词调度多个智能体写代码。做安全、做科研或需要长任务推理的开发者可以直接去 AI Studio 试试,2 美元的首发价也不贵。
Logan Kilpatrick 回 Sundar Pichai 时漏了个代号叫 Carbon 的模型,还说团队还在打磨。从措辞看更像预告而不是否定,猜是 Gemini 系列的后续。想跟踪 Google 新模型动态的可以留意官方后续消息。
Arena.ai 用自家 Agent Arena 数据对比了几款旗舰模型的成本曲线,发现 Gemini 4 Carbon 任务越难越划算:重度会话里 GPT-6 Astra 相对成本翻倍,Opus 5.5 到 4.2 倍。常跑长时程智能体任务、在意 API 账单的开发者可以看看选型账怎么算。
如果你选模型时纠结速度还是质量,这篇实测很有参考价值。作者亲手跑了 NaiveAI,2100 tokens/s 的速度真能保住接近 DeepSeek 的代码水平,做批量推理或实时应用的团队可以重点看看。
Latent Space 新开了实测栏目,首期把 Naive-N0.5-Flash 和 DeepSeek、Z 的模型掰开比速度。这模型主打开放权重、专攻 AI 编程、追求 token 每秒吞吐。如果你在给 coding agent 挑推理引擎,这篇的速度数据很实用。
MiniMax 的 H3-Image 图像模型刚进 arena.ai 的盲测对战,你输入提示词,它和别的模型各出一张图,投票就有排名。做设计或选型的话,去 arena.ai/image 免费试一把,看看它跟 GPT、Gemini 的图差在哪。
MiniMax 把新图像模型 H3-Image 放进了 LMArena Battle Mode,你能直接投票打分。它是开放权重的,4K 分辨率 10 秒出图,还支持 16 张参考图,做本地部署或想要高分辨率生图的可以试试。
xAI 的 Grok 5 预计 2-3 个月内就来,中间版 Grok 4.8 据说跑不过 Opus 5.5,可能干脆不发。想换模型写代码的开发者可以先盯着 Opus 5.5,等 Grok 5 的基准成绩出来再决定。
Turn detection based on whole-conversation context rather than silence addresses a persistent failure point in live voice agents, and a 10,000-term library makes specialized vocabularies practical without fine-tuning. Teams building call-center, legal or medical transcription pipelines should evaluate Scribe v3 against Deepgram and AssemblyAI on their own accented and code-switching audio. The Eneco result, 40% more first-try correct Dutch postal codes, is a useful signal for multilingual deployments in European and ASEAN markets.
Nvidia 这次把机器人训练的数据来源换成了 40 万小时人类视频,不用人工遥操作逐个示范了。不过成功率从 10% 到 80% 不等,离稳定可用还有距离。做机器人或具身智能的团队值得对比一下自家数据管线,看看视频学习路线能不能省成本。
做电话客服或外呼智能体的开发者可以关注:Fish Audio 的 Live 3 反应低于 200ms,还能分清报号码时的停顿和真正说完,双模型并行架构让抢话问题少了很多。
有人拿两个模型做了同题对比:从同一段《神偷奶爸》视频重建 3D 体素 Gru。Gemini 4 Carbon 花 $24.11,Fable 5.2 花 $53.34,但只有后者的 Gru 像电影里的。做视频转 3D 或游戏素材生成的可以看看两边差距到底在哪。
Google 这次把 Carbon 同时推给 Ultra 订阅用户、API 开发者和企业三条线,还能挖软件漏洞,安全团队和需要跑长推理任务的开发者可以重点看看 AI Studio 的接入方式。
这条推文里 Demis Hassabis 亲自展示了 Gemini 4 Carbon 的能力:逆向他自己的老游戏二进制文件,一次生成就能加新设施并跑在浏览器里。对比 Gemini 3 需要几小时的 vibe coding,进步很直观。做游戏复刻或逆向相关开发的开发者可以关注。
Google 放出了 Gemini 系列里最强的 Carbon,专门啃长时程和多步推理这类硬任务,官方还明确了它和 Argon 的分工。用 AI SDK 的朋友换一行配置就能试,做智能体的可以先拿它跟 Argon 跑个对比。
Google 两周内就把 Gemini 4 Carbon 推向正式版,基准分压过 Anthropic 的 Fable 5.2,价格还不到一半,/swarm 还能让多个智能体实时分任务一起干活。做智能体应用的开发者可以重点看看这套协同机制的实测表现。
Google 用 Gemini Carbon 搞了个好玩演示,两个 Agent 一个建 Blender 模型一个查渲染,做出来鹈鹕骑车逛园区的小游戏,还能自己上手玩。做 Agent 工作流的开发者可以看看这套构建加审查的分工思路。
The ablation numbers reveal that planning, not visual fidelity, is the bottleneck in multi-step world-model tasks, a finding that will shape how teams architect embodied agents. Robotics researchers and agent builders can use the open weights to benchmark simulative reasoning pipelines against proprietary alternatives. As a UAE-based lab's release, it adds a non-US, non-China option to the open world-model landscape, relevant to ASEAN academic teams seeking accessible baselines.
想看多模态智能体真实水平的话,这个 DeepMind 和 Artificial Analysis 合作的新基准挺扎实:200 个带图纸和扫描件的任务,Claude Fable 5.2 拿了第一但每任务要 32 美元,OpenAI 系模型便宜一个数量级还在性价比前沿,选型的人可以直接抄榜单。
A #2 ranking paired with 6x lower cost per task signals that the agent market is shifting from accuracy-only leaderboards to cost-adjusted comparisons, a framing Artificial Analysis is actively promoting. Teams procuring agents for document-heavy work in engineering, science or operations should track MKA scores when shortlisting models. Buyers in ASEAN and global markets can use the cost-per-task metric to compare against pricier frontier alternatives before committing to long-context multimodal deployments.
Claude Fable 5.2 在 Simple Bench 上只比人类最高分低 0.5%,常识推理这块一直是模型的弱项,现在快追平了。如果你在挑模型做需要日常判断的应用,这个数据点可以参考下,对比 GPT 和 Gemini 的同榜成绩更有意思。
NVIDIA 的 Nemotron Labs 开了一场专家直播,专门讲 Dory 这个 Looped Transformer 模型的架构设计。想搞清楚循环式 Transformer 跟标准堆叠式架构差在哪、参数量怎么省的朋友,可以直接看回放。做模型结构研究或推理优化的人会有收获。
Google 把之前只给网安团队的 Gemini 4 Carbon 开放了,价格和 Argon 持平。网安方向特别能打,Wiz 拿它两小时挖出 0-day。做安全研究或跑长任务的开发者可以试试,日常工程还是继续用 Argon 更划算。
图像生成圈少见的透明评测,Rapidata 和 Ideogram 把多步生成基准的模型输出、prompt 链和打分方法全公开了。做图像工作流的朋友可以直接对比各家模型在多步指令上的表现,还能照着方法自己复测。
IFM 放出了 PAN 2 的演示视频,内容是墨水滴进试管的扩散过程,你可以自己看看有没有穿帮。跟 Sora 这类视频模型比,它更强调物理规律。做仿真或机器人训练的可以看看。
编辑图片时人脸最容易越改越走样,这次是拿 199 张照片各改 5 轮、靠 32 万多条人工投票排出来的,Ideogram 4.5 在 20 个模型里拿了第一。做头像、电商图、换装这类反复编辑的活儿,可以照着榜单选模型。
Microsoft 的自研模型团队又有新动作,Suleyman 亲自转发官方页面。链接截断了具体型号,点进去能确认是哪个模型、跑分和定价如何。想看 Microsoft 怎么摆脱对 OpenAI 依赖的人可以关注这条线。
Only the latest 2000 items are listed; for older ones see the daily archive