07:03IT之家（博客/媒体）
73°
推荐理由：华为和湖北移动搞了个AI推理加速实测，长序列场景下吞吐率最高翻了近4倍，GLM-5.1模型128K序列表现尤其猛。
全部 AI 动态
AI 相关资讯全量信息流
6月26日
07:03
华为与湖北移动基于OceanStor A800存储和昇腾A3超节点架构，部署UCM推理记忆数据管理技术，完成全国运营商首个AI推理加速方案现网测试。在8K至190K长序列输入场景下，MiniMax M2.5模型单NPU卡Token输出效率（TPS）提升58%至78%，首Token延迟（TTFT）优化26%~62%。GLM-5.1模型TPS提升56%~372%，其中128K序列下TPS提升达372%，TTFT优化51%~93%。该方案通过外置存储提供PB级KV Cache，突破高带宽内存容量限制。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07