主要来源rohanpaul_ai
查看原文事件专题 · 多源确认
Kog AI 实现 3000 tokens/s 推理速度，10-30 倍提升
Kog AI 在 8× AMD MI300X GPU 上实现了 3000 tokens/s 的推理速度，在 8× NVIDIA H200 上达到 2100 tokens/s（FP16，无投机解码）。这一速度比常规低批次解码快 10-30 倍。其核心创新是将 LLM 解码视为内存流问题而非数学问题，通过 monokernel 技术将整个解码过程作为单个持久 GPU 程序运行，消除了内核启动、CPU 调度和中间内存往返的开销。他们还优化了同步机制和内存访问，并设计了 Laneformer 模型使用延迟张量并行技术。目前技术预览基于 2B 模型，但声称可扩展到大型 MoE 模型。
当前结论
Kog AI 把 GPU 推理的隐藏效率瓶颈挖出来了，做 LLM 推理优化的开发者可以直接关注他们的技术预览，看看 monokernel 和延迟张量并行能否复现到自己的模型上。
6 个信源83° AI 热度最后更新 2026/5/29 17:29:25
证据链
相关来源 1berryxia
查看原文相关来源 2Julien Chaumond
查看原文相关来源 3NVIDIA AI
查看原文相关来源 4阶跃星辰 Stepfun
查看原文相关来源 5Together AI
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。