精选理由
国产算力终于跑通端侧大模型全链路——6倍显存红利让8B模型直接上手机，做端侧AI部署或国产芯片适配的团队值得一试。
面壁智能联合清华大学、OpenBMB开源社区发布BitCPM-CANN，这是中国首个完全基于华为昇腾算力平台实现端到端训练并开源的三值（1.58-bit）大模型。该模型包含0.5B、1B、3B、8B四个尺寸，在推理阶段相比传统BF16精度释放约6倍显存红利，模型能力保留率维持在90%-97.2%。这意味着8B参数模型可轻松运行在当前主流旗舰手机上。面壁智能还基于MindSpeed×Megatron-LM搭建了完整的低比特训练底座，为后续昇腾上的低比特训练提供公共基础设施。全系列模型权重已在HuggingFace和ModelScope开源。
AI 翻译 · 中文
面壁智能联合清华大学、OpenBMB开源社区发布BitCPM-CANN，这是中国首个完全基于华为昇腾算力平台实现端到端训练并开源的三值（1.58-bit）大模型。该模型包含0.5B、1B、3B、8B四个尺寸，在推理阶段相比传统BF16精度释放约6倍显存红利，模型能力保留率维持在90%-97.2%。这意味着8B参数模型可轻松运行在当前主流旗舰手机上。面壁智能还基于MindSpeed×Megatron-LM搭建了完整的低比特训练底座，为后续昇腾上的低比特训练提供公共基础设施。全系列模型权重已在HuggingFace和ModelScope开源。
IT之家 5 月 25 日消息，面壁智能联合清华大学、OpenBMB 开源社区，今天正式发布并开源其在低比特大模型训练方向的最新成果 ——BitCPM-CANN。 官方表示，这是中国首个完全基于国产算力平台（华为昇腾）实现端到端训练并开源的三值（1.58-bit）大模型。从量化算子、训练算法到全链路框架，BitCPM-CANN 均在华为昇腾上原生完成 ，包含 0.5B、1B、3B、8B 四个模型尺寸，与同尺寸 MiniCPM4 全精度家…