#模型剪枝

MoRA解决了MoE模型部署内存问题，通过路由偏置学习和专家近似机制，在减少专家数量的同时保持模型性能。

清华团队提出GroupMask，让大模型剪枝各层稀疏度自适应，比固定模式效果更好，代码已开源。

这篇论文用剪枝把BERT砍到只剩10%参数，孟加拉语任务上还能和大模型打平，做低资源语言NLP的可以看看。

这篇论文教你用剪枝定位偏见：最多剪40个神经元，Llama-3.2-1B能力保住99.49%，但偏见不是消失而是换了方向。

这篇论文给出了一个能精确测量Mamba状态使用情况的工具，还发现模型会根据输入动态调整哪些状态起作用——基于这个发现做剪枝，效果比之前的方法好很多，7B模型上预算减半性能不变。

这篇论文把S4模型剪掉70%计算量还能保持性能，想在小设备上跑S4模型可以看看。