Inception AI 的 Mercury 3 Preview 在 ARC-AGI-2 拿下 61.8%
Inception AI 的 Mercury 3 Preview 是 ARC Prize 官方测过的第一个扩散语言模型,ARC-AGI-2 拿了 61.8%,速度最高 1,743 tokens/秒,比常见自回归模型快一大截。不过它在 ARC-AGI-3 上基本不会做题,做低延迟生成场景的朋友可以把这条路线加进对比清单。
Inception AI 的 Mercury 3 Preview 在 ARC Prize 官方 Verified 评测中公布成绩:ARC-AGI-2 得分 61.8%,单任务成本 $0.06;ARC-AGI-1 得分 88.5%,单任务成本 $0.03。ARC-AGI-3 上目前得分仅 0.2%(标准模式 0.1%),在提供 adapter 的情况下价格分别为 $299 和 $333。
ARC Prize 团队指出,这是他们评测过的第一个扩散(diffusion)语言模型,生成速度最高达到 1,743 tokens/秒。扩散架构通过并行生成而非逐 token 自回归解码来实现这种吞吐量,这也是它能在维持低成本的同时跑出高分的底层原因。
61.8% 的 ARC-AGI-2 成绩已进入该基准的第一梯队区间,而 1,743 tokens/秒的速度远超多数自回归模型。对开发者来说,如果在做需要低延迟、大批量生成的场景,这种扩散范式路线值得纳入对比测试;但 ARC-AGI-3 上接近零的表现也说明交互式、探索性任务仍是这类模型的短板。
Mercury 3 Preview from @_inception_ai on ARC-AGI (Verified):
- ARC-AGI-3: 0.2%, $299 (provider adapter), 0.1%, $333 (standard) - ARC-AGI-2: 61.8%, $0.06/task - ARC-AGI-1: 88.5%, $0.03/task
It is the first diffusion model we've evaluated, delivering up to 1,743 tokens/second. https://t.co/Wqscy5zUrl
This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Mercury 3, Inception AI, ARC-AGI, diffusion models.
Source attribution: curated from ARC Prize (@arcprize).