华为昇腾0 Day适配小红书开源模型dots3-note preview
小红书于8月14日发布dots3-note preview开源大模型,总参数量280B、激活参数16B。华为昇腾Atlas 800 A3与Atlas 900 A3 SuperPoD已完成该模型全量适配,并基于vLLM Ascend推理引擎提供部署能力。昇腾在发布当天完成0 Day适配,通过FlashComm通信优化与FUSED_MC2通算融合提升MoE推理吞吐。MTP投机解码原生支持降低了单Token生成耗时TPOT。该模型具备文本、视觉、语音全模态感知能力。