07:03IT之家（博客/媒体）
73°
推荐理由：华为和湖北移动搞了个AI推理加速实测，长序列场景下吞吐率最高翻了近4倍，GLM-5.1模型128K序列表现尤其猛。
UCM
共 1 条相关 AI 资讯
6月26日
07:03
华为与湖北移动基于OceanStor A800存储和昇腾A3超节点架构，部署UCM推理记忆数据管理技术，完成全国运营商首个AI推理加速方案现网测试。在8K至190K长序列输入场景下，MiniMax M2.5模型单NPU卡Token输出效率（TPS）提升58%至78%，首Token延迟（TTFT）优化26%~62%。GLM-5.1模型TPS提升56%~372%，其中128K序列下TPS提升达372%，TTFT优化51%~93%。该方案通过外置存储提供PB级KV Cache，突破高带宽内存容量限制。