00:55
官方账号vLLM@vllm_project
官方账号vLLM@vllm_project精选
推荐理由：vLLM 出了个新插件，把 MoE 推理的注意力层和专家层拆分部署，想分别扩缩容就方便了，支持 NVIDIA 和昇腾卡。
NVIDIA GPU
共 2 条相关 AI 资讯
7月25日
00:55
vLLM 项目发布实验性插件 vLLM AFD Plugin，由 Ascend、vLLM、阶跃星辰、蚂蚁集团、FastAFD 联合开发。该插件针对 MoE 模型提出 Attention-FFN Disaggregation（AFD）方案，将注意力和专家/FFN 路径作为独立服务运行，支持独立扩缩容。AFD 运行在 NVIDIA GPU 和 Ascend NPU 上，无需 fork 即可使用相同 vLLM 服务接口。
6月6日
11:12
11:12
小互@imxiaohu
小互@imxiaohu推荐理由：算力租赁市场迎来新巨头，做 AI 基础设施或云服务的团队值得关注——SpaceX 的入局可能改变 GPU 供应格局，每月 9.2 亿美元的协议说明需求有多疯狂。