10:30IT之家（博客/媒体）
77°
推荐理由：华为盘古 505B 的 MoE 模型 openPangu-2.0-Pro 开源了，带权重和推理代码，支持 512k 上下文，想跑昇腾生态可以看。
openPangu-2.0-Pro
共 1 条相关 AI 资讯
7月31日
10:30
华为今日开源 openPangu-2.0-Pro 模型权重、基础推理代码及技术报告。该模型为昇腾 NPU 训练的 MoE 架构，总参数约 505B，每 token 激活约 18B，支持 512k 上下文，训练数据约 34T tokens。模型采用 MLA 加 DSA/SWA 分层混合、3 头 MTP 自投机等架构升级，后训练结合 SFT、多专项 RL 与 OPD 蒸馏。此前 openPangu-2.0-Flash（92B 参数）已于 6 月 30 日开源，本次 Pro 是 openPangu 2.0 七组件开源计划的一部分。