精选理由
国产芯片终于能跑 1.58-bit 训练了,内存需求直降 6 倍,用国产算力的 AI 团队可以直接上手试试。
Model Best 开源了 BitCPM-CANN 训练框架,首次在国产 AI 加速器上实现 1.58-bit 模型训练。该框架相比全精度训练,推理内存需求降低高达 6 倍,大幅降低硬件门槛。这一突破使得国产算力也能高效运行低比特模型,对依赖国产芯片的 AI 团队意义重大。开源框架已发布,开发者可直接使用。
AI 翻译 · 中文
Model Best 开源了 BitCPM-CANN 训练框架,首次在国产 AI 加速器上实现 1.58-bit 模型训练。该框架相比全精度训练,推理内存需求降低高达 6 倍,大幅降低硬件门槛。这一突破使得国产算力也能高效运行低比特模型,对依赖国产芯片的 AI 团队意义重大。开源框架已发布,开发者可直接使用。
Model Best has open-sourced BitCPM-CANN, a complete training framework enabling 1.58-bit model training on domestic AI accelerators, reportedly reducing inference memory requirements by up to six times compared to full-p…