低秩正则化相关 AI 资讯 · AI 热点

7月10日

11:48

11:48

官方账号arXiv cs.LG@David González-Martínez, Shiwei Liu

SLORR是一种无需修改架构、无需SVD的低秩正则化框架，基于Hoyer稀疏度量和核范数两种变体。在ImageNet-1K上对ResNet-50、ViT-B/16和ViT-L/16进行短时继续训练，对ResNet-18进行预训练，SLORR在引入不到8%训练开销的同时提升了可压缩性。在135M和560M参数的LLM预训练中，SLORR-Hoyer使压缩模型性能显著优于未正则化模型，平均训练开销低于1%。

论文 SLORR 低秩正则化模型压缩 LLM

推荐理由：想压缩模型又不想掉太多精度？SLORR在训练时加低秩正则化，开销很小，效果很好，值得一试。