11:58
官方账号arXiv cs.LG@Ramprasath Ganesaraja, Sahil Dilip Panse, Swathika N
推荐理由：把Mamba-2压缩到1比特权重不用花大钱从头训练，用预训练模型加少量微调就行，效果只差0.3%。
Ternary Mamba
共 1 条相关 AI 资讯
6月17日
11:58
Mamba-2 1.3B参数模型通过分组量化感知训练（QAT）从FP16教师蒸馏，仅消耗4 GPU小时（单H100）和102M tokens，将内存从2,687 MB压缩至744 MB（3.61倍）。零样本七任务平均准确率达48.1%，接近Bi-Mamba的48.4%（±0.9pp置信区间）。该方法无需从头训练150B tokens，使用预训练检查点即可。研究还发现零比例坍缩现象，即可学习量化尺度导致的不稳定性，这在从头训练中不会出现。后处理校正策略对SSM无效，因循环结构导致误差累积。