华为与湖北移动完成AI推理加速方案现网测试,长序列吞吐率提升372%
华为与湖北移动基于OceanStor A800存储和昇腾A3超节点架构,部署UCM推理记忆数据管理技术,完成全国运营商首个AI推理加速方案现网测试。在8K至190K长序列输入场景下,MiniMax M2.5模型单NPU卡Token输出效率(TPS)提升58%至78%,首Token延迟(TTFT)优化26%~62%。GLM-5.1模型TPS提升56%~372%,其中128K序列下TPS提升达372%,TTFT优化51%~93%。该方案通过外置存储提供PB级KV Cache,突破高带宽内存容量限制。