阿里云真武M890超节点实例首发适配Kimi K3，2.8万亿参数MoE模型推理效率获硬件级优化，适合关注大模型部署和推理加速的开发者。
阿里云宣布灵骏真武M890超节点实例成功适配月之暗面2.8万亿参数大模型Kimi K3。Kimi K3采用MoE架构，基于平头哥真武M890训推一体AI芯片，64张M890通过ICN Switch 1.0实现800GB/s All-to-All高速互联，显存规模达9TB。联合优化使万亿级MoE模型EP专家并行通信流量运行在单一高带宽域内，提升推理效率。T-Head SAIL软件栈让Mooncake推理框架即开即跑，Triton支持减少自定义算子重写工作量。
Day0 适配：阿里云灵骏真武 M890 超节点实例现已支持月之暗面 Kimi K3 大模型
IT之家 7 月 28 日消息，阿里云今天宣布，灵骏真武 M890 超节点实例成功适配 2.8 万亿参数大模型 Kimi K3，基于芯片、推理平台和模型的联合优化，有效提升模型推理效率。 IT之家了解到，Kimi K3 是月之暗面最新的旗舰模型，参数规模达到 2.8 万亿，采用混合专家（MoE）架构。 而灵骏真武超节点实例基于平头哥训推一体 AI 芯片真武 M890 打造，具备 ICN Switch 1.0 互联芯片，可让 64 张 M890 实现 800 GB/s 的 All-to-All 高速互联， 显存规模达 9TB ，可将万亿级 MoE 模型的 EP 专家并行通信流量，跑在一个高带宽通信域内，保证 Token（词元）生成效率。 同时，阿里云、平头哥和 Kimi 团队从子、软件栈等层面进行深度协同，成功让 kimi K3 模型实现 Day0 适配。真武芯片的 T-Head SAIL 软件栈可让 Kimi 自研 Mooncake 推理框架实现“开箱即跑”，M890 的 Triton 支持也让大量基于 Triton 编写的自定义算子无需重写，大幅降低适配工作量。