精选理由
想省显存又不想损失太多模型质量？BiSCo-LLM用二进制球面编码把LLM压到2比特，不用查码表，存储更省。
BiSCo-LLM是一种无码本的二进制球面编码框架，用于将LLM权重压缩到极低比特（目标2比特每权重）。它的核心流程先将局部权重块映射到单位超球面并二值化为紧凑球面码，主载荷为比特打包的符号流，无需存储码本。残差BSQ阶段对重构误差编码，提供显式率失真路径。分类权重恢复蒸馏在每个Transformer模块替换后执行，减少重构误差与模型行为间的失配。一个8位保护通道路径用于敏感通道的辅助稳定，其存储计入总预算。
AI 翻译 · 中文
BiSCo-LLM是一种无码本的二进制球面编码框架，用于将LLM权重压缩到极低比特（目标2比特每权重）。它的核心流程先将局部权重块映射到单位超球面并二值化为紧凑球面码，主载荷为比特打包的符号流，无需存储码本。残差BSQ阶段对重构误差编码，提供显式率失真路径。分类权重恢复蒸馏在每个Transformer模块替换后执行，减少重构误差与模型行为间的失配。一个8位保护通道路径用于敏感通道的辅助稳定，其存储计入总预算。
Large language models (LLMs) are increasingly constrained by memory capacity, weight bandwidth, and checkpoint storage during deployment. Existing low-bit compression methods mainly follow two directions. Scalar or group…