AITOP

LLM压缩

共 2 条相关 AI 资讯
7月10日
11:24
11:24官方账号arXiv cs.LG@Yuantian Shao, Peisong Wang, Zhilei Liu, Chuangyi Li, Yuanteng Chen, Pengcheng Xie, Yiwu Yao, Zhihui Wei, Jian Cheng
BiSCo-LLM是一种无码本的二进制球面编码框架，用于将LLM权重压缩到极低比特（目标2比特每权重）。它的核心流程先将局部权重块映射到单位超球面并二值化为紧凑球面码，主载荷为比特打包的符号流，无需存储码本。残差BSQ阶段对重构误差编码，提供显式率失真路径。分类权重恢复蒸馏在每个Transformer模块替换后执行，减少重构误差与模型行为间的失配。一个8位保护通道路径用于敏感通道的辅助稳定，其存储计入总预算。
AI模型BiSCo-LLMLLM压缩二进制球面编码低比特量化
推荐理由：想省显存又不想损失太多模型质量？BiSCo-LLM用二进制球面编码把LLM压到2比特，不用查码表，存储更省。
原文
6月9日
10:34