12:57pandaily@contact@pandaily.com (Pandaily)精选72°Model Best 开源了 BitCPM-CANN 训练框架,首次在国产 AI 加速器上实现 1.58-bit 模型训练。该框架相比全精度训练,推理内存需求降低高达 6 倍,大幅降低硬件门槛。这一突破使得国产算力也能高效运行低比特模型,对依赖国产芯片的 AI 团队意义重大。开源框架已发布,开发者可直接使用。AI模型开源/仓库训练框架低比特量化国产芯片Model Best推荐理由:国产芯片终于能跑 1.58-bit 训练了,内存需求直降 6 倍,用国产算力的 AI 团队可以直接上手试试。原文
11:52IT之家(博客/媒体)精选76°面壁智能联合清华大学、OpenBMB开源社区发布BitCPM-CANN,这是中国首个完全基于华为昇腾算力平台实现端到端训练并开源的三值(1.58-bit)大模型。该模型包含0.5B、1B、3B、8B四个尺寸,在推理阶段相比传统BF16精度释放约6倍显存红利,模型能力保留率维持在90%-97.2%。这意味着8B参数模型可轻松运行在当前主流旗舰手机上。面壁智能还基于MindSpeed×Megatron-LM搭建了完整的低比特训练底座,为后续昇腾上的低比特训练提供公共基础设施。全系列模型权重已在HuggingFace和ModelScope开源。AI模型端侧大模型低比特量化华为昇腾开源/仓库面壁智能推荐理由:国产算力终于跑通端侧大模型全链路——6倍显存红利让8B模型直接上手机,做端侧AI部署或国产芯片适配的团队值得一试。原文