低比特量化相关 AI 资讯 · AI 热点

7月10日

11:24

11:24

官方账号arXiv cs.LG@Yuantian Shao, Peisong Wang, Zhilei Liu, Chuangyi Li, Yuanteng Chen, Pengcheng Xie, Yiwu Yao, Zhihui Wei, Jian Cheng

BiSCo-LLM是一种无码本的二进制球面编码框架，用于将LLM权重压缩到极低比特（目标2比特每权重）。它的核心流程先将局部权重块映射到单位超球面并二值化为紧凑球面码，主载荷为比特打包的符号流，无需存储码本。残差BSQ阶段对重构误差编码，提供显式率失真路径。分类权重恢复蒸馏在每个Transformer模块替换后执行，减少重构误差与模型行为间的失配。一个8位保护通道路径用于敏感通道的辅助稳定，其存储计入总预算。

AI模型 BiSCo-LLM LLM压缩二进制球面编码低比特量化

推荐理由：想省显存又不想损失太多模型质量？BiSCo-LLM用二进制球面编码把LLM压到2比特，不用查码表，存储更省。

5月26日

12:57

12:57

官方一手pandaily@contact@pandaily.com (Pandaily)

精选72°

Model Best 开源了 BitCPM-CANN 训练框架，首次在国产 AI 加速器上实现 1.58-bit 模型训练。该框架相比全精度训练，推理内存需求降低高达 6 倍，大幅降低硬件门槛。这一突破使得国产算力也能高效运行低比特模型，对依赖国产芯片的 AI 团队意义重大。开源框架已发布，开发者可直接使用。

AI模型开源/仓库训练框架低比特量化国产芯片 Model Best

推荐理由：国产芯片终于能跑 1.58-bit 训练了，内存需求直降 6 倍，用国产算力的 AI 团队可以直接上手试试。

5月25日

11:52

11:52IT之家（博客/媒体）

精选76°

面壁智能联合清华大学、OpenBMB开源社区发布BitCPM-CANN，这是中国首个完全基于华为昇腾算力平台实现端到端训练并开源的三值（1.58-bit）大模型。该模型包含0.5B、1B、3B、8B四个尺寸，在推理阶段相比传统BF16精度释放约6倍显存红利，模型能力保留率维持在90%-97.2%。这意味着8B参数模型可轻松运行在当前主流旗舰手机上。面壁智能还基于MindSpeed×Megatron-LM搭建了完整的低比特训练底座，为后续昇腾上的低比特训练提供公共基础设施。全系列模型权重已在HuggingFace和ModelScope开源。

AI模型端侧大模型低比特量化华为昇腾开源/仓库面壁智能

推荐理由：国产算力终于跑通端侧大模型全链路——6倍显存红利让8B模型直接上手机，做端侧AI部署或国产芯片适配的团队值得一试。