Event ·Multi-source

EAServe 论文提出面向多模态 LLM 的 Encode 感知分离式推理服务

论文针对多模态大模型(MLLM)推理中新增的 Encode 阶段提出 EAServe 系统,将 Encode-Prefill-Decode 三阶段流水线中的 Encode 重新定位为控制点。其运行时层包含负载自适应微批处理、速率控制的 partially offload 和动态 SM 分区,配置层 HAS 通过按阶段容量画像和 TPE 贝叶斯优化搜索 GPU 分配、encode 批大小与 offload 比例。在覆盖图像、视频、音频的三种 MLLM 架构上评测,相同 SLO 约束下 EAServe 的 goodput 分别比 NVIDIA Dynamo 高 4.3 倍、比 vLLM 高 1.7 倍,并显著提升 GPU 利用均衡度。

Current read

一篇推理系统论文,解决多模态模型 Encode 阶段拖垮 GPU 利用率的问题,goodput 比 vLLM 高 1.7 倍、比 NVIDIA Dynamo 高 4.3 倍,做 MLLM 服务的可以看看。

6 sources58° AI heatLast updated 2026/9/25 17:20:22

Evidence

6 sources
Related source 3rohanpaul_ai
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.