推理优化

general · First seen 2026-05-22 · Last seen 2026-11-20 · 298 mentions

Overview

推理优化是指在不明显损失模型质量的前提下,通过架构设计、内核编译、调度系统和解码策略等手段,降低大模型推理的显存占用、提升吞吐并压低延迟的技术方向,目前已成为大模型落地成本竞争的核心战场。

推理优化的近期进展

  • 恒定显存推理架构出现。墨尔本实验室 i14labs 推出 Sugar Glider 架构,宣称实现 O(1) 恒定显存推理(来源)。若验证成立,将改变长上下文推理的显存增长瓶颈,但目前公开细节有限,需观察独立复现结果。
  • 推理框架吞吐大幅提升。Ant International AI Infra 团队向 SGLang 提交优化,使 GLM-5.3-Flash 在 H200 上吞吐提升 2.11–4.28 倍(来源);Together AI 也通过推理栈优化,将 StepFun step 5 吞吐量提升超 3 倍(来源)。
  • 自动化优化走向系统化。百度发布 ERNIE Evolve 自动化研究系统,可自主改进模型训练与推理流程,并刷新 NanoChat 与 NanoGPT 纪录(报道)。同期 Together Compiler 让智能体自动针对模型与硬件组合优化内核,优化工作正从人工调参转向自动搜索。
  • 基础设施层加速成熟。Buoyant 开源 Kinference,提供面向 Kubernetes 与 vLLM 的推理控制平面(报道);SGLang Summit 2026 已定于 11 月 12–13 日在旧金山举行(来源),显示该生态的社区协作正在常态化。
  • 当前焦点与观察点

    推理优化目前呈现三条清晰主线:其一是吞吐竞赛,SGLang、vLLM 等开源框架与云厂商自研栈的数字快速刷新,倍数级提升已成常规发布节奏;其二是自动化,ERNIE Evolve 和 Together Compiler 表明内核与系统调优正交给自动搜索,可能压缩传统 infra 工程师的手工优化空间;其三是解码算法,如 D-REAL 通过无偏梯度改进投机解码接受长度(论文),以及面向统一内存设备的本地引擎 Hibana(论文)指向端侧场景。

    值得关注的争议点在于基准可比性:各家吞吐提升数字通常绑定特定模型、硬件与负载,横向对比意义有限;O(1) 显存这类声明也需要经过独立验证。未来数月,SGLang Summit 2026 上的生态进展与自动化系统能否产出可复用的通用优化,是判断推理优化走向的关键观察窗口。

    Coverage

    10 on file