新芯航途发布 X7 Ultra 大模型芯片,中国首发量产 Armv9 车规级 CPU
专为大模型设计:新芯航途 X7 Ultra 芯片中国首发量产 Armv9 车规级 CPU
车规芯片里少见的专为大模型设计的方案,车端跑大参数模型带宽降 80%,做智能座舱的可以看看
10 月 29 日,新芯航途(XHEART)发布专为车端大模型设计的 X7 Ultra 芯片。该芯片采用超大核 NPU 架构,互联速率达 TB/s 量级,针对 Layernorm、Softmax、Transpose 等 Transformer 关键算子做硬件优化,官方称计算利用率达 98.7%,相比行业旗舰内存带宽消耗下降 80%、能效提升 100%。芯片可部署模型参数量实现 10 倍提升,并中国首发量产 Armv9 车规级 CPU,性能提升 20%、能效提升 10%。
专为大模型设计:新芯航途 X7 Ultra 芯片中国首发量产 Armv9 车规级 CPU
IT之家 10 月 29 日现场消息,在今天的发布会上,XHEART 新芯航途 CEO 李宗霖正式发布全新 X7 Ultra 大模型芯片。 据介绍,这枚芯片专为大模型设计,拥有超大核 NPU 架构,核内数据交互对比核间数据交互, 互联速率 TB/s 数量级提升 。另外,芯片的多级缓存架构支持大容量、高并发特性,可降低推理时延与功耗。 新芯航途 X7 Ultra 大模型芯片内置高精度大模型专用算子加速引擎,针对 Layernorm、Softmax、Transpose 等一系列 Transformer 大模型关键算子进行极致硬件优化,原生支持 FP16/FP32 高精度向量计算,保障模型精度。 通过架构与工具链协同创新, X7 Ultra 支持可部署模型参数量实现 10 倍提升 ,让更大的模型在车端高效运行。 根据新芯航途官方公布的数据,X7 Ultra 的 NPU 硬件并行度解锁可充分释放大模型推理潜能, 计算利用率达 98.7% 。相比行业旗舰产品,其内存带宽消耗下降 80%,能效提升 100%。 IT之家从发布会现场获悉, 新芯航途 X7 Ultra 还中国首发量产 Armv9 车规级 CPU ,性能提升 20%、能效提升 10%。另外,大集群架构还提升了多核协同与 L3 访存性能,集成全新 SVE2 向量处理引擎,相比上一代 NEON 具有更强的 DSP 性能。