精选理由
国产算力生态终于有了低精度训练的利器——1.58-bit 训练框架让国产芯片也能高效跑大模型,做国产 AI 部署的团队可以直接拿来用,内存省六倍,值得关注。
Bingbi AI 开源了 BitCPM-CANN 训练框架,支持在国产 AI 加速器上进行 1.58-bit 模型训练。相比全精度训练,该框架可将推理内存需求降低最多六倍,显著降低硬件门槛。这一开源举措有望推动国产算力生态发展,让更多开发者和团队在国产芯片上高效训练和部署大模型。
AI 翻译 · 中文
Bingbi AI 开源了 BitCPM-CANN 训练框架,支持在国产 AI 加速器上进行 1.58-bit 模型训练。相比全精度训练,该框架可将推理内存需求降低最多六倍,显著降低硬件门槛。这一开源举措有望推动国产算力生态发展,让更多开发者和团队在国产芯片上高效训练和部署大模型。
Bingbi AI has open-sourced BitCPM-CANN, a complete training framework enabling 1.58-bit model training on domestic AI accelerators, reportedly reducing inference memory requirements by up to six times compared to full-pr…