#推理加速

共 85 条 · 7 天 7 条 · 30 天 12 条

开源模型 5 投机解码 4 DeepSeek 3 视频生成 3 AI芯片 2 DFly 2 MoE 2 vLLM 2

5月13日

模型中美对照官方一手00:33

UCSD在Google TPU实现3倍LLM推理加速：DFlash扩散式推测解码

这一工作展示了扩散式推测解码在TPU上的实际落地价值，突破传统推测解码的顺序瓶颈，尤其利好大规模LLM推理场景。开源集成至vLLM有助于行业快速采用。

#推理加速 #推测解码 #TPU #开源/仓库

官方一手Google Developers Blog原文

5月12日

DECO: 稀疏MoE实现端侧设备上媲美稠密模型性能

DECO在保持性能和降低计算开销方面取得了良好平衡，其3倍加速和严格的稀疏性控制对端侧AI部署具有实际参考价值。

#稀疏MoE #端侧部署 #推理加速 #激活函数

arXiv cs.LG@Chenyang Song 等 6 人原文

5月11日

连续时间分布匹配：少步扩散蒸馏

该方法为扩散模型加速推理提供了新思路，可能降低生成式AI的部署成本，值得关注后续应用拓展。

#扩散模型 #蒸馏 #图像生成 #推理加速

AK@_akhaliq原文

Fast BLT: 字节级语言模型推理加速

该工作直接解决字节级LLM的核心效率瓶颈，提出的混合推理策略（扩散+推测解码）为无分词器模型走向实际应用提供了可行路径。

#字节级模型 #推理加速 #扩散模型 #推测解码

arXiv cs.LG原文