#vLLM AFD Plugin

共 1 条 · 7 天 0 条 · 30 天 0 条

Ascend NPU 1 Attention-FFN Disaggregation 1 MoE 1 NVIDIA GPU 1

信息流里打上「vLLM AFD Plugin」标签的资讯、产品与论文，按刊登时间排，新的在上。

7月25日

模型多源确认精选00:55

vLLM AFD Plugin 发布，实现 MoE 推理 Attention-FFN 分离

vLLM 出了个新插件，把 MoE 推理的注意力层和专家层拆分部署，想分别扩缩容就方便了，支持 NVIDIA 和昇腾卡。

#vLLM AFD Plugin #MoE #Attention-FFN Disaggregation #Ascend NPU

官方账号vLLM@vllm_project4 个信源在谈原文

vLLM AFD Plugin 相关 AI 资讯 · AITOP · AI热报