推理优化是指在不明显损失模型质量的前提下,通过架构设计、内核编译、调度系统和解码策略等手段,降低大模型推理的显存占用、提升吞吐并压低延迟的技术方向,目前已成为大模型落地成本竞争的核心战场。
推理优化的近期进展
当前焦点与观察点
推理优化目前呈现三条清晰主线:其一是吞吐竞赛,SGLang、vLLM 等开源框架与云厂商自研栈的数字快速刷新,倍数级提升已成常规发布节奏;其二是自动化,ERNIE Evolve 和 Together Compiler 表明内核与系统调优正交给自动搜索,可能压缩传统 infra 工程师的手工优化空间;其三是解码算法,如 D-REAL 通过无偏梯度改进投机解码接受长度(论文),以及面向统一内存设备的本地引擎 Hibana(论文)指向端侧场景。
值得关注的争议点在于基准可比性:各家吞吐提升数字通常绑定特定模型、硬件与负载,横向对比意义有限;O(1) 显存这类声明也需要经过独立验证。未来数月,SGLang Summit 2026 上的生态进展与自动化系统能否产出可复用的通用优化,是判断推理优化走向的关键观察窗口。