全部 AI 动态 · AI 热点

6月30日

10:36

arXiv: DeepSeek@Hui Zang, Pengfei Xia, Hong Liu, Jiajia Chu, Tuo Hao, Minghao Chen, Rui Zhang, Ziyang Zhang

精选

Mixture-of-Experts (MoE)架构通过稀疏激活扩展模型规模，但数据移动瓶颈导致推理效率低下。两个关键问题：低贡献专家带来几乎均等的内存与传输成本（成本收益比低），以及多设备部署中受最慢设备限制。CAEE框架利用轻量级成本模型估算硬件开销，选择性剪枝低重要性高成本专家，并通过低开销补偿机制避免额外数据传输。在DeepSeek-R1（671B参数）上的评估显示，CAEE将端到端推理延迟降低8%-18%（专家卸载与设备内执行），模型准确率下降小于1%。

论文 CAEE MoE DeepSeek-R1 推理优化多设备

推荐理由：CAEE框架能降低MoE模型推理延迟8%-18%，且准确率几乎不受影响。DeepSeek-R1用户可重点关注。

原文

6月29日

13:51

Together AI@togethercompute

Together AI 构建了基于 Parakeet 的语音转文本堆栈，每秒可处理约 302 秒音频，这是 Artificial Analysis 报告中最高速度因子。该堆栈在 Together 平台上运行，通过系统级优化实现低延迟转录。文章由 @FeelTheBeurn 详细拆解了背后的工程工作。

AI模型 Parakeet Together AI 语音识别推理优化速度基准

推荐理由：Together AI 把 Parakeet 优化到每秒转写 302 秒音频，比别的服务快一大截，想搞语音识别的可以看看这篇系统调优拆解。

原文

13:09

vLLM@vllm_project

精选

vLLM-Omni TTS团队针对Qwen3-TTS、VoxCPM2、Higgs Audio V3、Fish Speech S2 Pro四种TTS模型分别设计了不同的优化策略。对Qwen3-TTS通过解耦连接器分块和批处理Stage-0解码预处理，在H20×2上音频吞吐量提升61.5%，P99延迟减半。VoxCPM2采用whole-forward torch.compile和CFM/LocDiT解码尾部跨请求批处理，音频吞吐量提升172%。Higgs Audio V3将多码本解码状态机迁移到GPU驻留张量，实现2.7倍加速。Fish Speech S2 Pro为纯解码路径设计了模型特定的q_len=1 Triton注意力内核。

AI模型 vLLM Qwen3-TTS VoxCPM2 Higgs Audio V3 Fish Speech S2 Pro 语音合成推理优化

推荐理由：vLLM团队分享了优化四种主流TTS模型服务的具体技巧，包括性能提升数据和实现细节，对部署TTS服务很有参考价值。

原文

00:21

berryxia@berryxia

精选73°

DeepSeek开源了DSpark投机解码框架，用于推理优化。DSpark通过并行backbone加顺序Markov head解决传统投机解码的后缀衰减问题，并引入置信度调度和负载感知调度器。在DeepSeek-V4生产环境中，单用户生成速度比MTP-1基线快60-85%，不同场景吞吐提升1.5x到5x。开源内容包括DeepSeek-V4-Pro-DSpark和DeepSeek-V4-Flash-DSpark模型checkpoint以及MIT协议的DeepSpec训练代码。

AI模型 DeepSeek DSpark DeepSeek-V4 投机解码推理优化

推荐理由：DeepSeek开源了DSpark框架，能让你的V4模型推理提速60%以上，且不影响质量。它解决了投机解码在真实部署中的难题，已经稳定跑在生产环境。

原文

6月28日

16:36

Pandaily@contact@pandaily.com (Pandaily)

76°

北京大学与DeepSeek联合开源了投机解码框架DSpark，该框架无需修改模型即可将LLM推理速度提升60-85%。在严格延迟约束下，吞吐量增益最高达661%。DSpark通过高效的投机解码策略显著降低推理延迟。这一成果已在GitHub上开源。

AI模型 Peking University DeepSeek DSpark LLM 推理优化

推荐理由：北大和DeepSeek搞的DSpark，不用改模型就能让推理快80%，吞吐量翻好几倍，适合做部署的试试。

原文

6月27日

21:13

LMSYS Org (SGLang)@lmsysorg

71°

SGLang团队为DeepEP MoE引入两种调度时负载均衡器Waterfill和LPLB。Waterfill将共享专家工作分配到较轻的rank，在DeepSeek V3/R1上带来+1.48%到+4.66%的性能提升，V4 Flash吞吐量从49,253 tok/s增至51,677 tok/s。LPLB优化冗余路由专家副本的流量分配，在red16/red32配置下取得+0.84%到+7.34%的提升。两种方法均不改变模型语义，保持推理精度。

AI产品 SGLang DeepEP DeepSeek V3 推理优化负载均衡

推荐理由：SGLang给DeepSeek模型加了两个新负载均衡器，跑DeepSeek V3/R1速度能快最多7%，而且不改精度，想加速推理的可以试试。

原文

6月25日

21:45

Thomas Wolf@Thom_Wolf

实验让100多个智能体协作一周，优化vLLM中Gemma 4推理速度，最终实现5倍提升。智能体自发拒绝人类社交工程尝试，发现验证漏洞并请求社区裁决。四智能体接力构建int4-lm_head检查点，经诊断配置错误后达到118 TPS（2.68×）。GPU富/贫分工、跨智能体内核调试、配额池化等行为涌现。智能体还指出127 TPS“墙”是假象，并讨论了int4-Marlin floor的循环证明问题。

AI模型 Gemma 4 vLLM 多智能体推理优化智能体协作

推荐理由：这个实验展示了100多个AI智能体像人类社区一样自发协作、互相监督，甚至发现了验证漏洞。一周将Gemma 4推理速度优化5倍，很酷。

原文

05:27

Fireworks AI@FireworksAI_HQ

精选

Fireworks AI 宣布攻克了在前沿模型上使用强化学习时，保持训练和推理数值完全一致（零KLD）的难题。他们将该解决方案作为托管服务提供，首发支持 GLM 5.2 模型。这项服务确保端到端数值对齐，简化了RL训练流程。

AI产品 Fireworks AI GLM 5.2 强化学习推理优化

推荐理由：Fireworks AI 把强化学习里最头疼的数值一致性问题搞定了，还能直接托管GLM 5.2，省去自己搭基础设施的麻烦。

原文

6月24日

13:13

vLLM@vllm_project

vLLM 项目宣布支持 DFlash 投机解码，用户只需将 EAGLE-3 检查点替换为 DFlash 检查点即可启用，无需修改代码。该功能通过开源 Speculators 库将 DFlash 草案模型与目标模型的隐藏状态连接。在单块 Blackwell Ultra GPU 上运行 Gemma-4 31B 模型，Math500 基准取得 5.8 倍吞吐量提升，GSM8K 提升 5.3 倍，HumanEval 提升 5.6 倍，MBPP 提升 4.4 倍。

AI模型 DFlash vLLM Gemma-4 NVIDIA 推理优化

推荐理由：vLLM 和 NVIDIA 合作推出 DFlash 投机解码，Gemma-4 31B 推理速度提升近 6 倍，配置只需改一行 checkpoint 路径。

原文

01:02

LMSYS Org (SGLang)@lmsysorg

79°

与NVIDIA合作，在GB300上使用SGLang服务DeepSeek-V4，实现5倍吞吐量提升（~2,200→~11,200 tok/s/GPU，交互性~50 tok/s/user）。借助MTP，在80 tok/s/user交互性下吞吐再提升2.6倍。Blackwell Ultra聚合模式下30 tok/s/user时吞吐提升2.91倍，峰值无MTP吞吐提升超6倍。采用W4A4 MegaMoE量化（MXFP4）且精度损失可忽略。单个FP8-einsum修复将MTP接受率从0.57提至0.70。

AI模型 DeepSeek-V4 GB300 SGLang 推理优化 NVIDIA

推荐理由：想用SGLang在GB300上榨干DeepSeek-V4？NVIDIA合作实测，吞吐翻5倍，交互延迟不变，MTP和量化细节全公开。

原文

6月20日

03:05

Together AI@togethercompute

精选

MiniMax-M3 模型支持智能体携带长历史（超过百万token）、图像、视频、文档和工具输出进入上下文，显著提升多模态信息处理能力。Together 的推理优化通过改进服务路径上的 token 吞吐量，使这一能力在大规模部署时更实用。相比之前方案，每 GPU 可处理更多 token，从而降低每美元自动化工作成本。

AI模型 MiniMax-M3 Together 智能体多模态推理优化

推荐理由：MiniMax-M3 让智能体一口气带进长历史、图、视频、文档和工具输出，Together 优化后每 GPU token 翻倍，自动任务成本更低。

原文

6月19日

18:37

Together AI@togethercompute

精选

Together AI分享了优化GLM 5.1推理性能的三项关键改进。他们重写了索引器的topk内核。接着融合了索引器内核以减少内存和启动开销。同时消除了限制预填充吞吐量的CPU开销。这些优化显著提升了GLM 5.1在Together AI平台上的运行效率。

AI模型 GLM 5.1 Together AI 推理优化内核重写

推荐理由：想知道Together AI怎么让GLM 5.1跑得更快？他们分享了三个工程优化点，对部署GLM 5.1有直接帮助。

原文

18:34

Together AI@togethercompute

Together AI 部署的 DeepSeek V4 Pro 在 Artificial Analysis 基准测试中同时获得输出速度和延迟两项第一。该成绩通过优化 KV 缓存、前缀复用、内核及端点配置实现。Together AI 公开了其推理系统的具体工程方案，包括缓存策略和内核调优。

AI模型 DeepSeek V4 Pro Together AI Artificial Analysis 推理优化性能基准

推荐理由：Together AI 把 DeepSeek V4 Pro 调到了速度与延迟双第一，还公开了优化方法，搞推理部署的值得看看。

原文

11:01

arXiv cs.LG@Inesh Chakrabarti, David Limpus, Aditi Ghai Rana, Bowen Bao, Spandan Tiwari, Thiago Crepaldi, Ashish Sirasao

论文提出UltraQuant，一种针对智能体工作负载的4位KV缓存压缩方法，基于TurboQuant旋转和码书量化。在长上下文多轮任务中，UltraQuant在缓存压力大的后期轮次将P50首令牌延迟降低3.47倍，全轮次平均降低2.3倍。相比FP8 KV缓存基线，输出吞吐量提升1.63倍。设计包括非对称K/V处理、Walsh-Hadamard旋转及AMD GPU专用优化。

论文 UltraQuant FP4 KV缓存 AMD GPU 推理优化

推荐理由：长上下文智能体推理慢？UltraQuant把4位KV缓存做到实用，延迟降3倍多，吞吐涨1.6倍，值得看看。

原文

03:08

vLLM@vllm_project

精选72°

Anyscale 与 Google Cloud GKE 合作推出 Ray Serve LLM 新版本，在 vLLM 基础上实现显著性能飞跃。预填密集型负载吞吐量提升 4.4 倍，解码密集型负载提升 24 倍。三个关键优化包括：控制平面端点选择器的直接流式传输、新的 vLLM Ray V2 执行器后端、以及基于 HAProxy 的 C 语言级路由。Ray 的容错、可观察性和跨 K8s/VM 可移植性为复杂推理部署奠定基础。

AI模型 Ray Serve LLM vLLM Anyscale Google Cloud 推理优化

推荐理由：Anyscale 和 Google Cloud 联手让 vLLM 推理快了好几倍，预填负载快 4.4 倍，解码负载快 24 倍，用 Ray V2 执行器就能体验。

原文

6月18日

11:09

11:09IT之家（博客/媒体）

72°

华为昇腾宣布0 Day支持智谱GLM-5.2，昇腾A3系列已实现单双机及大EP推理部署。优化技术包括MOE大融合算子、通信与计算融合、注意力前处理与多Token预测、高并发调度与预填充延迟机制等。GLM-5.2在Code Arena盲测中取得全球可用模型第一，拥有1M上下文能力，长程任务表现介于Claude Opus 4.7与4.8之间。该模型在主流编程基准上保持开源SOTA，并已适配华为昇腾等国产算力平台。

AI模型 GLM-5.2 华为昇腾推理优化开源模型代码生成

推荐理由：华为昇腾0 Day适配智谱GLM-5.2，推理优化让长上下文编程更高效，开源模型性能比肩Claude Opus。

原文

05:03

AWS Machine Learning Blog@Dan Ferguson

AWS 宣布 Amazon SageMaker AI 异步推理（Async Inference）现支持在 InvokeEndpointAsync API 的请求体中直接发送推理负载（inline payload），无需预先上传至 S3。这一功能简化了工作流，减少了与 S3 的交互步骤，并降低了延迟。用户可在请求正文中放入不超过 2MB 的数据，适用于轻量级推理场景。

AI产品 SageMaker 异步推理 inline payload InvokeEndpointAsync 推理优化

推荐理由：AWS SageMaker 异步推理现在可以直接在请求里传数据，不用先传 S3 了，省一步操作。

原文

04:27

LMSYS Org (SGLang)@lmsysorg

精选73°

LMSYS 发表博客详解如何用 SGLang-JAX 在 TPU v7x 上优化 Ling-2.6-1T（1T 参数混合 MoE 模型）。通过 Fused MoE V2 内核将令牌和累加器留在 VMEM 中并双缓冲专家权重，MoE 预填充延迟降低 53%。混合内存池为 10 个全注意力层分配逐令牌 MLA KV，为 70 个 GLA 层分配逐请求循环状态。GLA 线性注意力采用分块并行预填充，单控制器 DP 保持分组 RMS Norm 芯片本地化，无需逐层跨芯片规约。

AI模型 Ling-2.6-1T TPU SGLang-JAX MoE 推理优化

推荐理由：LMSYS 和 InclusionAI 联手，用 SGLang-JAX 让 1T 参数 MoE 在 TPU 上跑得快 53%，技术细节都在博客里。

原文

6月17日

04:25

AWS Machine Learning Blog@Mona Mona

Amazon SageMaker AI 发布容器镜像缓存功能，针对推理场景优化扩展速度。该功能在模型扩缩容时可将端到端延迟最高提升2倍。它专为生成式AI模型设计，减少冷启动时间。现已可在AWS区域使用。

AI产品 SageMaker AI 容器缓存模型扩展 AWS 推理优化

推荐理由：AWS给SageMaker AI加了容器缓存，扩展时延迟直接减半，适合需要快速响应的生成式AI部署。

原文

6月16日

20:46

AITOP6月16日 20:46

600亿美元买下Cursor，xAI终于拿到了编程工具，但真正值得跟踪的或许不是AI

20:16

vLLM@vllm_project

精选

Anyscale团队发布报告，介绍如何用Ray Serve和vLLM实现PD Disaggregation。该技术在AMD MI325X GPU上通过了压力测试，验证了实际性能提升。报告强调正确配置是发挥优势的关键。

技巧 vLLM Ray Serve Anyscale AMD MI325X 推理优化

推荐理由：vLLM推荐了Anyscale的这篇实战文章，讲清楚了PD Disagg在Ray Serve加vLLM上的做法，还在AMD MI325X上测过，值得搞推理部署的人看看。

原文

6月13日

13:28

Together AI@togethercompute

精选

Dan Fu在斯坦福CS336课程中讲解了推理时的KV缓存、prefill/decode分离技术，以及大规模推理的架构。他介绍了Megakernels，通过融合GPU操作实现接近光速的LLM解码。还讨论了Parcae，解释了循环Transformer的扩展问题及其修复方法，并提出了新的缩放定律，暗示现有方法可能未充分利用智能潜力。

论文 KV缓存 Megakernels Parcae 缩放定律推理优化

推荐理由：Dan Fu讲KV缓存和Parcae新缩放定律

原文

6月12日

12:57

AITOP6月12日 12:57

Claude代码里藏了个20260612，18个月后的AI记忆革命已经开始倒计时

12:10

vLLM@vllm_project

精选

Inferoa 是一个由 @agenticin 构建的社区智能体框架，基于 vLLM 技术栈。它通过推理经济学来塑造智能体循环，包括前缀缓存管理、上下文优化以及在自托管模型和前沿模型之间的路由。该框架旨在帮助开发者更高效地运行智能体，降低推理成本。vLLM 项目团队对此表示期待，并希望开发者能进一步扩展其功能。

AI产品智能体 vLLM 推理优化社区框架开源/仓库

推荐理由：Inferoa 把推理成本优化直接嵌入智能体循环，做智能体应用或自托管模型的开发者值得关注，能帮你省下不少推理开销。

原文

09:06

arXiv cs.AI@Luoyuan Zhang

这篇论文指出当前 AI 智能体在处理相同文档时，每个智能体都会重复执行最耗计算的前缀填充（prefill）步骤，重建相同的键值（KV）缓存，造成巨大浪费。作者提出一个简单方案：让发布者预计算文档的 KV 缓存，其他智能体付费加载后跳过 prefill。实验表明，在 Qwen3-4B 模型上，复用比从头 prefill 节省 9-50 倍计算量，且输出 token 完全一致。但 KV 缓存体积大、难以压缩，直接传输成本高；作者建议在服务端托管（类似 prompt-caching），消除传输开销。以一个热门 3774 token 文档被 80M 智能体访问为例，复用计算成本仅约 3 万美元，而重新 prefill 需 150 万美元，节省 49.7 倍。论文还提出了智能体原生 prefill CDN 的框架，并指出无损 KV 压缩和跨方支付层是待解决的关键问题。

论文 KV缓存推理优化智能体预填充成本节省

推荐理由：这篇论文直击 AI 智能体重复计算同一文档的浪费痛点，做 LLM 推理优化或智能体基础设施的团队值得关注——它提出的 KV 缓存共享方案可能大幅降低推理成本，且已有实测数据支撑。

原文

6月11日

15:28

AITOP6月11日 15:28

1107 vs 303：谷歌悄悄开源了一个“拆打字机”的模型，把大模型速度翻了4倍

15:23

AITOP6月11日 15:23

DiffusionGemma颠覆文本生成？自回归模型的“统治”要结束了

15:07

AITOP6月11日 15:07

每秒1107个token，Google开源的扩散模型为什么能改变本地推理格局？

11:30

arXiv cs.AI@Cheng-Yu Yang, Shao-Yuan Lo, Yu-Lun Liu

精选

视觉语言模型（VLM）将图像投影为数百到数千个视觉令牌，导致解码器推理成本高昂。现有方法通常采用“排序并移除”范式，永久丢弃低分令牌。但研究发现，视觉令牌的重要性会随解码器深度变化，早期低分令牌可能在后续层变得重要。为此，研究者提出Reroute，一种无需训练的插件，将移除改为可恢复路由：被延迟的令牌在后续阶段重新进入候选池。该方法在FastV、PDrop等方案上，在LLaVA-1.5和Qwen骨干上，在激进令牌缩减下提升了接地性能，同时保持VQA性能。这表明VLM令牌缩减应视为可恢复路由，而非不可逆修剪。代码已开源。

论文视觉语言模型令牌缩减可恢复路由推理优化开源/仓库

推荐理由：VLM推理成本高是实际部署的痛点，Reroute用零训练代价解决了令牌缩减中信息丢失的问题，做多模态模型优化或部署的团队可以直接集成到现有方案中，值得一试。

原文

6月10日

09:08

arXiv: DeepSeek@Wenxin Wang, Yule Hou, Yu Ji, Peng Qu, Youhui Zhang

精选72°

本地部署大型混合专家模型（MoE）在服务质量上远不及云端环境，即使低并发场景也存在四大差距：依赖降级模型、无法满足长预填充的30秒TTFT、解码吞吐量低于20 tokens/s、混合负载下并发能力差。本文提出CPU-GPU混合系统，通过流式加载预填充（SLP）将预填充吞吐提升至1200 tokens/s，支持32K提示词在30秒内完成；分布式SLP（DSLP）结合SmallEP专家并行，在双RTX 5090上达到1800 tokens/s和45K提示词；以及零拷贝共享权重的节点内预填充-解码分离、AVX-512优化的FP8 GEMV内核等技术。该系统在消费级CPU-GPU平台上实现了旗舰MoE模型的云级服务质量，无需数据中心基础设施即可获得高质量、低成本的本地推理。

论文 MoE模型 CPU-GPU混合推理优化本地部署 SLO

推荐理由：本地跑MoE大模型终于能追上云端的服务质量了——做本地部署的开发者可以直接参考这套CPU-GPU混合方案，不用再忍受降级模型和低吞吐。

原文

6月9日

20:29

rohanpaul_ai@rohanpaul_ai

一篇新论文发现 Transformer 的 Key 和 Value 投影可以共享同一映射，从而将 KV 缓存减少 50%，而困惑度仅上升 3.1%。最佳变体 Q-K=V 保留了 Query 的独立性，使注意力仍具有方向性。结合 GQA 和 MQA 时，缓存削减可达 87.5% 和 96.9%。弱变体 Q=K-V 因对称性不适合因果语言模型，且无缓存节省。该发现挑战了传统 QKV 三投影的必要性，对推理内存优化有重要意义。

论文 Transformer KV 缓存注意力机制推理优化论文

推荐理由：做 LLM 推理优化的团队可以直接参考这个设计——砍掉一半 KV 缓存但几乎不损质量，值得在自家模型上试试。

原文

10:59

arXiv cs.AI@Hetvi Shastri, Pragya Sharma, Walid A. Hanafy, David Irwin, Mani Srivastava, Prashant Shenoy

精选

现有大模型服务系统将每个定制任务部署为独立模型实例，导致骨干模型重复部署、加速器内存浪费，且无法分摊批处理和加载成本。FMplex 提出一种新范式，将大模型骨干视为虚拟化基础，为每个任务提供逻辑上私有的虚拟大模型（vFM），实际共享同一物理骨干。该方案支持任务独立扩展、生命周期和隔离性，并设计了批感知公平队列调度器，实现任务间和任务内的批处理。在 7 个骨干模型（16 个变体）和 92 个下游任务上，FMplex 相比空间分区降低延迟 80%，相比尽力共置降低 33.3%，集群规模下可承载多达 6 倍的任务数。

论文模型服务虚拟化批处理调度推理优化 FMplex

推荐理由：做模型服务系统或推理优化的团队，FMplex 的虚拟化思路能直接帮你省显存、降延迟，建议研究其调度和共享机制。

原文

00:42

OpenRouter@OpenRouterAI

精选

OpenRouter 指出，在决策点切换模型能有效减少自偏好偏差，即模型倾向于固守自身失败的推理轨迹。该观点引用 Panickssery 等人 2024 年的论文，强调切换模型可打破这种锚定效应，提升决策质量。这对于需要多模型协作或复杂推理的 AI 应用场景具有重要参考价值。

AI模型 OpenRouter 自偏好偏差模型切换推理优化决策点

推荐理由：做多模型编排或推理链优化的开发者，这个发现能帮你减少模型自我锚定带来的错误，值得在 pipeline 里试试切换策略。

原文

6月6日

09:43

Pandaily@contact@pandaily.com (Pandaily)

精选

AI模型 Step 3.7 Flash 基准测试推理优化成本效率 StepFun

推荐理由：做 AI 应用选型或部署推理服务的团队，Step 3.7 Flash 在速度和成本上的优势值得直接对比测试，可能帮你省下不少预算。

原文

6月3日

04:40

Together AI@togethercompute

76°

MiniMax-M3 是一款结合了 1M 上下文窗口、原生多模态能力和 MiniMax 稀疏注意力机制的新模型。Together 的推理和内核团队通过 KV-block-major 稀疏注意力、分页 MSA 解码、优化索引评分以及 GPU 工作前的多模态预处理，将常见智能体流量下的吞吐量提升了 81-125%。该模型在长上下文和多模态任务上表现出色，适合需要处理大量信息和多种数据类型的应用场景。

AI模型 MiniMax-M3 稀疏注意力多模态长上下文推理优化

推荐理由：做长上下文和多模态应用的团队可以关注——MiniMax-M3 的稀疏注意力优化让吞吐量提升显著，直接降低推理成本，值得一试。

原文

5月31日

01:52

NVIDIA AI@NVIDIAAI

精选

DynoSim 是 NVIDIA 推出的工作负载驱动模拟工具，用于优化 Dynamo 推理服务栈的部署。它将 exhaustive 的部署搜索转化为 simulate-then-verify 循环，可在虚拟时间线上建模整个栈。团队能通过高保真模拟快速筛选数千种配置，然后仅在真实硬件上验证最佳候选。测试显示其模拟速度比真实时间快 1500 倍。

技巧 NVIDIA DynoSim Dynamo 推理优化模拟

推荐理由：NVIDIA 搞了个模拟器，部署配置筛选快千倍

原文

00:16

berryxia@berryxia

精选72°

小米MiMo模型近期大幅降价，背后是团队对推理系统的彻底重构。他们采用Hybrid Sliding Window Attention架构，将KVCache存储压缩至全注意力的约1/7。团队针对SWA缓存难题重新设计了KVCache管理、层级缓存和prefix-cache tree，并优化了调度策略与Prefill/Decode流水线。在真实生产流量下，有效KVCache容量提升近5倍，缓存命中率稳定在93%-95%。结合MoE配置调优和多模态推理优化，最终实现了长上下文推理成本的降低，支撑了此次降价。

AI产品小米 MiMo 推理优化 KVCache Hybrid Sliding Window Attention

推荐理由：做模型推理优化的团队值得看看——小米MiMo团队用Hybrid SWA和系统级优化把成本打下来，证明了架构落地比参数更重要，建议点开了解具体实现。

原文

5月30日

08:06

Julien Chaumond@julien_c

NVIDIA 发布了 DeepSeek-V4-Pro-NVFP4 的修复版本，该模型基于 DeepSeek-V4 架构，采用 NVFP4 精度优化，旨在提升推理效率和性能。修复版解决了之前版本中的一些问题，使模型更加稳定可靠。对于使用 NVIDIA 硬件进行 AI 推理的开发者来说，这是一个值得关注的更新。

AI模型 DeepSeek-V4 NVIDIA NVFP4 模型修复推理优化

推荐理由：NVIDIA 官方修复版解决了 DeepSeek-V4 在自家硬件上的精度和稳定性问题，用 NVIDIA GPU 做推理的团队可以直接拉取使用，省去自己调优的麻烦。

原文

04:17

Together AI@togethercompute

72°

Together AI 推出了目前最快的两个语音转文字（STT）模型，其中 NVIDIA Parakeet-TDT 0.6B v3 能在 10 秒内转录 20 小时的语音。该模型基于 TensorRT 优化、条件 CUDA 图、事件驱动 I/O 和共享内存等技术实现极致性能。这一进展大幅降低了大规模语音转录的延迟和成本，对需要实时或批量处理语音的团队意义重大。Together AI 通过系统级优化展示了 STT 模型在推理速度上的新标杆。

AI产品语音转文字 NVIDIA Parakeet-TDT Together AI 推理优化 TensorRT

推荐理由：语音转录速度提升了一个数量级，做实时语音应用或大规模音频处理的团队可以直接用上，省下不少时间和算力成本。

原文

01:29

rohanpaul_ai@rohanpaul_ai

83°

Kog AI 在 8× AMD MI300X GPU 上实现了 3000 tokens/s 的推理速度，在 8× NVIDIA H200 上达到 2100 tokens/s（FP16，无投机解码）。这一速度比常规低批次解码快 10-30 倍。其核心创新是将 LLM 解码视为内存流问题而非数学问题，通过 monokernel 技术将整个解码过程作为单个持久 GPU 程序运行，消除了内核启动、CPU 调度和中间内存往返的开销。他们还优化了同步机制和内存访问，并设计了 Laneformer 模型使用延迟张量并行技术。目前技术预览基于 2B 模型，但声称可扩展到大型 MoE 模型。

AI模型推理优化 GPU Kog AI AMD MI300X NVIDIA H200

推荐理由：Kog AI 把 GPU 推理的隐藏效率瓶颈挖出来了，做 LLM 推理优化的开发者可以直接关注他们的技术预览，看看 monokernel 和延迟张量并行能否复现到自己的模型上。

原文

5月29日

22:06

LangChain@LangChainAI

LangChain 发布 Deep Agents v0.6，将 Harness Profiles 提升为一等抽象，使得开发者可以轻松配置和优化模型推理。新版本支持 Kimi、Qwen、DeepSeek 等开源模型，在保持生产级性能的同时，成本仅为闭源前沿 API 的 1/20 以下。这为需要高性价比 AI 代理的团队提供了更灵活的选择。

AI产品 LangChain Deep Agents Harness Profiles 开源模型推理优化

推荐理由：做 AI 代理的团队终于可以低成本使用开源模型达到生产级性能，建议做推理优化的开发者直接试试 Harness Profiles 的调优功能。

原文

07:20

rohanpaul_ai@rohanpaul_ai

76°

Kog@AI 在 8×AMD MI300X GPU 上实现了 3000 tokens/s 的推理速度，8×NVIDIA H200 上为 2100 tokens/s（FP16，无推测解码），远超高端 GPU 通常的 100-300 tokens/s。他们将 LLM 解码视为内存流问题，通过将整个 token 生成循环保留在单个持久 GPU 程序中，消除了内核启动、CPU 调度和中间内存写入的开销。同时，通过让每个计算单元只等待所需数据，并针对 MI300X 的芯片拓扑优化内存访问，减少了同步浪费。模型架构延迟了张量并行通信，使 all-reduce 在后台进行而不阻塞每一层，这要求运行时、GPU 代码和模型设计协同优化。这一突破展示了通过软硬件协同设计大幅提升推理效率的潜力。

AI模型推理优化 AMD MI300X NVIDIA H200 内存流 GPU 编程

推荐理由：Kog@AI 把推理速度从 300 拉到 3000 tokens/s，做模型部署和推理优化的团队值得研究他们的内存流方法，直接看原文能学到如何消除 GPU 瓶颈。

原文

5月28日

12:00

arXiv cs.LG@Zelin Li, Caiwen Ding

精选72°

研究发现，大语言模型的零阶（ZO）微调本质上是推理密集型负载，而非传统训练。现有实现将ZO算法运行在训练循环中，导致工作负载与运行时的不匹配。研究者通过将ZO微调的重复评分阶段部署在推理运行时（如vLLM）上，在OPT-13B模型上实现了8.13倍加速，且精度几乎无损。该方法在多个模型规模下获得2.34-7.72倍加速，并支持MeZO风格的高秩分解实验。这项工作为将轻量级适配作为推理类负载调度提供了实用路径。

论文零阶优化微调推理优化 vLLM 大语言模型

推荐理由：做LLM微调优化的团队终于可以省下GPU时间了——把ZO微调当推理跑，vLLM直接提速8倍，建议做低成本微调的人点开看看实现细节。

原文

11:54

arXiv: DeepSeek@Hanjiang Wu, Abhimanyu Rajeshkumar Bambhaniya, Sarbartha Banerjee, Tuhin Khare, Sudarshan Srinivasan, Suvinay Subramanian, Souvik Kundu, Madhu Kumar, Midhilesh Elavazhagan, William Won, Amir Yazdanbakhsh, Tushar Krishna

这篇论文系统研究了混合专家（MoE）大模型推理中的多级解耦策略，从分块预填充聚合、预填充-解码解耦到最新的算子级 Attention-FFN 解耦（AFD）。AFD 将注意力计算和 MoE-FFN 执行分别部署在不同 GPU 组上，以应对 MoE 模型中内存受限的注意力、计算密集的专家 FFN 以及 MoE 路由通信带来的异构资源需求。通过结合设备级内核测量和高保真网络模拟的框架，论文在真实工作负载下评估了各级解耦的收益与局限。结果表明，在严格的 TTFT/TPOT 服务等级目标下，AFD 在 DeepSeek-V3.2 上可维持约 4000 tokens/s 的系统吞吐量，而传统非 AFD 部署无法满足要求。论文还给出了根据工作负载和模型架构划分注意力与 FFN 的实用建议，为当前机架/集群级部署及未来解耦 AI 基础设施提供了设计原则。

论文 MoE 推理优化解耦架构 Attention-FFN DeepSeek-V3.2

推荐理由：MoE 模型推理的瓶颈终于被系统性地拆解了——Attention-FFN 解耦让吞吐量提升到传统方案无法企及的水平，做大规模 MoE 推理部署的团队可以直接参考论文中的分区策略来优化集群。

原文

10:33

10:33IT之家（博客/媒体）

83°

小米 MiMo 官方宣布 MiMo-V2.5 系列 API 永久降价，最高降幅达 99%，且不再区分上下文窗口长度。小米 MiMo 负责人罗福莉在 X 平台发文解释，降价主要得益于推理框架对 SWA 的分层 KV 缓存优化，将缓存 Token 容量提升 5 倍，降低 80% 缓存成本。此外，模型架构的 1:7 Full:SWA 稀疏比使原始推理成本远低于行业平均水平，留有 2 到 3 倍利润空间。降价后，生产推理引擎接近满负载运行，仍能维持收支平衡。罗福莉认为，合理定价的 API 将驱动真实推理需求，拉动 AI 基础设施链发展，形成良性循环。

AI产品 MiMo API降价推理优化 KV缓存成本优势

推荐理由：小米 MiMo 用架构和推理优化把 API 价格打下来，做 AI 应用开发的团队可以直接用更低成本调用高性能模型，建议关注后续技术博客。

原文