精选理由
对于关注国产 AI 基础设施和低资源部署的开发者,BitCPM-CANN 展示了在昇腾 NPU 上训练三元模型的完整路径,可以直接参考其开源训练脚本做本地化部署或模型优化。
由 ModelBest、清华大学和 OpenBMB 社区联合开发的 BitCPM-CANN 成为全球首个完全基于中文 AI 基础设施(华为昇腾 910B NPU)训练的开源 1.58-bit 三元大语言模型。该模型采用三元权重(仅三种状态),大幅降低部署内存需求,适合手机、PC、汽车等本地设备。其训练系统在昇腾 910B 上实现了量化感知训练(QAT)、直通估计器(STE)等全套流程,并开源了可复现的训练脚本。这一成果展示了在硬件成本上升背景下,模型能否在真实约束下训练、复现、部署和优化比单纯追求榜单分数更重要。
AI 翻译 · 中文
由 ModelBest、清华大学和 OpenBMB 社区联合开发的 BitCPM-CANN 成为全球首个完全基于中文 AI 基础设施(华为昇腾 910B NPU)训练的开源 1.58-bit 三元大语言模型。该模型采用三元权重(仅三种状态),大幅降低部署内存需求,适合手机、PC、汽车等本地设备。其训练系统在昇腾 910B 上实现了量化感知训练(QAT)、直通估计器(STE)等全套流程,并开源了可复现的训练脚本。这一成果展示了在硬件成本上升背景下,模型能否在真实约束下训练、复现、部署和优化比单纯追求榜单分数更重要。
BitCPM-CANN just became the world’s first open-sourced 1.58-bit ternary LLM trained entirely on Chinese-developed AI infrastructure. Developed by ModelBest, Tsinghua Univ, and OpenBMB community, the entire training pipel…