AITOP

高速推理

共 4 条相关 AI 资讯
6月24日
06:03
06:03OpenRouter@OpenRouterAI
OpenRouter 宣布提供 GLM 5.2 模型的所有服务商入口，共列出 20 个提供商。其中一条服务线路的推理速度超过 125 tokens/秒。用户可在单一页面比较并选择不同服务商。这标志着 GLM 5.2 的部署生态进一步开放。
AI模型GLM 5.2OpenRouter开源模型
推荐理由：想用 GLM 5.2 但不清楚哪家快？OpenRouter 把 20 个提供商列在一起了，还能直接选超 125 TPS 的那条线。
原文
6月9日
00:27
00:27IT之家（博客/媒体）
78°
小米 MiMo 与 TileRT 联合发布 MiMo-V2.5-Pro 的 UltraSpeed 模式，通过模型与系统的极致协同设计，在通用 GPU 上将万亿参数模型的生成速度首次突破 1000 tokens/s。该模式 API 同步上线，定价为原版的 3 倍，但输出速度提升约 10 倍。由于高速推理资源有限，该模式采取申请制限时开放，时间从 2026 年 6 月 9 日至 6 月 23 日，优先审核有真实业务需求的企业与开发者。通过审核的用户可获得限时免费的 Chat 体验，但每日最多成功进入队列 10 次，单次会话时长上限 30 分钟。
AI产品小米 MiMoUltraSpeed 模式万亿参数模型
推荐理由：万亿参数模型生成速度首次突破 1000 tokens/s，做高吞吐 AI 应用的企业和开发者值得申请体验，3 倍价格换 10 倍输出效率，性价比极高。
原文
5月22日
10:08
10:08IT之家（博客/媒体）
83°
智谱今日面向部分企业客户推出 GLM-5.1 高速版 API，输出速度达到 400 tokens/s，刷新全球大模型 API 速度上限。该模型首次在国产大模型中实现旗舰级能力与低延迟的结合，打破了高速模型通常为轻量级模型的行业惯例。GLM-5.1 高速版由智谱 GLM 团队与 TileRT 团队联合打造，在推理引擎、调度系统和基础设施三个层面进行系统级优化，确保 400 TPS 是稳定可用的生产级能力。该模型适用于 AI 编程、实时交互、商业决策、实时语音等对响应延迟要求高的场景，现已面向部分企业客户开放服务。
AI模型智谱GLM-5.1高速推理
推荐理由：智谱把旗舰模型的推理速度拉到 400 tokens/s，做实时交互、AI 编程的团队可以直接用，延迟敏感场景终于有了国产高性能选项，建议点开看技术细节。
原文
5月20日
09:08
09:08shao__meng@shao__meng
76°
Cerebras 宣布为 Moonshot AI 的 Kimi K2.6 模型（超 1T 参数）提供企业级高速推理服务，速度达到约 1000 tokens/s，成为 Artificial Analysis 评测中速度最快的前沿模型。此前 Kimi K2.5 和 K2.6 虽模型能力强，但官方推理速度慢，而 Groq 被 Nvidia 收购后未再跟进主流模型推理。Cerebras 继为 GPT 5.3 Codex Spark 提供高速推理后，再次解决大型模型的推理瓶颈，让开发者能更高效地使用该模型。
AI产品Kimi K2.6Cerebras高速推理
事件专题
推荐理由：Kimi K2.6 终于有了匹配其模型能力的高速推理平台，做推理密集型应用或需要实时响应的开发者可以直接用起来，体验 ~1000 tokens/s 的流畅感。
原文