00:55
官方账号vLLM@vllm_project
官方账号vLLM@vllm_project精选
推荐理由：vLLM 出了个新插件，把 MoE 推理的注意力层和专家层拆分部署，想分别扩缩容就方便了，支持 NVIDIA 和昇腾卡。
vLLM AFD Plugin
共 1 条相关 AI 资讯
7月25日
00:55
vLLM 项目发布实验性插件 vLLM AFD Plugin，由 Ascend、vLLM、阶跃星辰、蚂蚁集团、FastAFD 联合开发。该插件针对 MoE 模型提出 Attention-FFN Disaggregation（AFD）方案，将注意力和专家/FFN 路径作为独立服务运行，支持独立扩缩容。AFD 运行在 NVIDIA GPU 和 Ascend NPU 上，无需 fork 即可使用相同 vLLM 服务接口。