推理速度相关 AI 资讯

8月14日

22:35

官方账号Decoder@Matthias Bastian

78°

OpenAI推出全新推理模式Ultrafast，将GPT-5.6 Sol的输出速度提升至每秒750个token，较之前快14倍。该模式基于与Cerebras的100亿美元合作，使用其专用硬件。OpenAI同时提供Standard、Fast和Ultrafast三档定价，将推理速度作为独立产品出售。

事件专题

推荐理由：用Cerebras硬件把GPT-5.6 Sol提速到每秒750 token，还分三档收费，速度本身成了卖点。

原文

7月22日

00:05

官方账号Logan Kilpatrick@OfficialLoganK

3.5 Flash-Lite 达到近350输出tokens每秒的速度。该速度使其在延迟敏感的UI体验中非常流畅。它现在也成为驱动智能体（agent harness）的可行选项。

AI模型 3.5 Flash-Lite 智能体推理速度

事件专题

推荐理由：3.5 Flash-Lite跑到350 tokens/秒，延迟敏感UI和智能体场景体验更好，速度提升明显。

原文

7月10日

08:55

AI Engineer@aiDotEngineer

精选

OpenAI宣布模型发布周期缩短至6周一次。GPT 5.6在Cerebras硬件上的推理速度达到750 tokens/s，可在10秒内完成大量代码审查。公司称2025年聚焦“token最大化”，2026年转向“价值最大化”。这一策略变化反映了AI部署从追求吞吐量向实际应用价值的转变。

行业 OpenAI GPT-5.6 Cerebras

事件专题

推荐理由：OpenAI调整了模型发布节奏，以后每6周就能看到新版本。GPT 5.6在Cerebras上跑出750 tokens/s的推理速度，10秒就能处理一大波PR。2026年的重点从刷速度变成了追求实际价值。

原文

7月7日

16:53

@koltregaskes@koltregaskes

78°

Bleys 根据公开信息估算，OpenAI 的 GPT-5.6 Sol 模型总参数在 2-4 万亿之间，采用 MoE 架构，每任务激活约 1500 亿参数。模型被分布在 70-100 个 Cerebras 晶圆上，每晶圆是一个巨型芯片，全模型约 70-90 层，最多每晶圆一层以避免瓶颈。由于专为 Cerebras 芯片设计，推理速度可达 750 tokens/s，但使用成本可能比现有模型高出数倍。

AI模型 GPT-5.6 Sol Cerebras MoE

事件专题

推荐理由：Bleys 算了一笔账：GPT-5.6 Sol 参数 2-4 万亿、跑在 Cerebras 晶圆上、速度 750 token/s，但价格可能翻倍。想了解下一代超大规模模型怎么造？看这个。

原文

6月25日

02:24

官方账号Clement Delangue@ClementDelangue

精选

Kog在HuggingFace上开源了其2B参数模型，该模型此前被用于演示，运行速度达到3000+ tokens每秒。开源模型可供开发者下载和部署，适用于快速推理场景。

AI模型 Kog HuggingFace 2B模型

推荐理由：Kog开源了一个2B模型，每秒能处理3000多个token，适合需要高速推理的任务。

原文

6月9日

20:09

Viking@vikingmute

小米发布了 MiMo-V2.5-Pro-UltraSpeed 模型，拥有 1T 参数，生成速度达到 1000 TPS。官方演示视频显示速度极快，引发关注。目前该模型开放试用申请，但用户对其实际质量存疑，因为小米此前在 AI 模型领域知名度不高。该模型在 HackerNews 上引起讨论，速度指标令人印象深刻，但最终效果仍需实测验证。

AI模型小米 MiMo 大模型

事件专题

推荐理由：1T 参数模型跑出 1000 TPS 的生成速度，对追求低延迟推理的开发者来说是个值得关注的指标，建议申请试用实测质量。

原文

15:00

15:00IT之家（博客/媒体）

88°

小米 MiMo 与 TileRT 联合发布 MiMo-V2.5-Pro-UltraSpeed 模式，首次在 1 万亿参数模型上实现超过 1000 tokens/s 的输出速度。该模式 API 已上线，定价为原版的 3 倍，但输出速度提升约 10 倍。由于高速推理资源有限，该模式采取申请制限时开放，申请通过的用户可在 2026 年 6 月 9 日至 6 月 23 日期间免费体验 Chat 功能，每日最多 10 次会话，每次最长 30 分钟。这一突破标志着万亿参数模型在实时推理场景中的实用化迈出关键一步。

AI模型万亿参数模型推理速度 MiMo

推荐理由：万亿参数模型首次达到千 tokens/s 输出，做大规模推理或实时 AI 应用的团队可以直接申请体验，看看能否真正落地到生产环境。

原文

5月30日

06:42

rohanpaul_ai@rohanpaul_ai

88°

Anthropic 在宣布 9650 亿美元估值融资的同一天，发布了 Claude Opus 4.8 模型。KogAI 在 8× AMD MI300X GPU 上实现了 3000 tokens/s 的推理速度，在 8× NVIDIA H200 上达到 2100 tokens/s。Datacurve 推出了更严格的编程基准 DeepSWE，用于区分领先模型。OpenAI 与 Thrive 合作构建了准确率高达 97% 的自我改进税务智能体。

AI产品 Anthropic Claude Opus 4.8 推理速度

事件专题

推荐理由：Anthropic 估值逼近万亿，Claude Opus 4.8 同日发布，关注前沿模型进展的开发者值得一看。KogAI 的推理速度数据对做推理优化的团队有参考价值。

原文

5月23日

05:51

rohanpaul_ai@rohanpaul_ai

Cerebras 宣布其晶圆级芯片在 1 万亿参数的 Kimi K2.6 模型上达到了 981 tokens/sec 的推理速度，经 Artificial Analysis 验证，比最快的 GPU 云快 6.7 倍。传统 GPU 集群因跨芯片拆分模型导致大量数据传递延迟，而 Cerebras 的晶圆级芯片将整个处理器构建在单个硅晶圆上，片上路由带宽更高、延迟更低。这一速度优势对于企业级编程智能体等需要快速迭代测试和调试的场景尤为关键。Cerebras 声称其真正的商业价值不在于单纯的速度，而在于能在足够大的模型上实现这种速度，从而支撑企业级应用。

AI产品 Cerebras Kimi K2.6 推理速度

推荐理由：做企业级 AI 推理或编程智能体的团队，如果被 GPU 集群的延迟和带宽瓶颈困扰，Cerebras 的晶圆级方案值得关注——它用硬件架构创新解决了模型权重和激活值传输的痛点，实测数据比 GPU 云快一个数量级。

原文

5月22日

16:08

官方一手pandaily@contact@pandaily.com (Pandaily)

精选83°

智谱AI发布了GLM-5.1-highspeed API，这是其GLM-5.1模型的高速推理版本，输出速度达到每秒400个token。这一速度据称是全球主要大模型提供商中最快的，显著提升了实时应用场景下的响应效率。该API适用于需要低延迟的对话、代码生成和内容创作等场景。此举标志着国产大模型在推理性能上取得重要突破，对开发者构建高并发AI应用具有直接价值。

AI产品智谱AI GLM-5.1 高速API

推荐理由：400 tokens/s的推理速度让实时AI应用成为可能，做聊天机器人或代码补全的开发者可以直接接入体验，响应延迟会明显降低。

原文

5月20日

07:10

官方账号Clement Delangue@ClementDelangue

精选

Cerebras 正在企业测试中运行 Kimi K2.6，这是一个万亿参数模型。据 Artificial Analysis 测量，其推理速度约为每秒1000个 token，是迄今最快的前沿模型性能。这反驳了此前认为开源大模型无法快速运行的质疑。

AI模型 Cerebras Kimi K2.6 推理速度

推荐理由：Cerebras 让万亿参数模型跑出千 token 每秒

原文

5月16日

14:56

Ate-a-Pi@svpino

开发者 Santiago 表示首次感到开源权重模型不可忽视，MiniMax-M2.7 以 230B 参数在 SambaNova 上实现 440+ tokens/s 的极速推理。该模型在 SWE-Pro 上得分 56.22%，Terminal Bench 2 得分 57.0%，SWE Multilingual 得分 76.5%，性能接近 Opus 4.6 和 GPT-5.4 级别。使用成本仅为专有模型的 5%，且完全开源。SambaNova 提供免费 playground 供测试。

AI模型开源模型 MiniMax-M2.7 推理速度

推荐理由：开源模型首次在性能上追平顶级闭源模型，且推理速度和成本优势巨大，做 AI 应用开发或模型选型的团队值得立即体验。

原文