vLLM AFD Plugin 发布，实现 MoE 推理 Attention-FFN 分离
vLLM 出了个新插件，把 MoE 推理的注意力层和专家层拆分部署，想分别扩缩容就方便了，支持 NVIDIA 和昇腾卡。
#Ascend NPU
共 2 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「Ascend NPU」标签的资讯、产品与论文，按刊登时间排，新的在上。
7月25日
6月4日
FlexNPU：为LLM动态Prefill-Decode共置的透明NPU虚拟化
FlexNPU 解决了LLM推理中prefill和decode阶段资源冲突的痛点，做模型部署和推理优化的团队可以直接参考其动态调度思路，尤其适合使用华为Ascend NPU的开发者。