#SVD

长链推理时 KV 缓存会爆炸，这篇提出用增量 SVD 压到 4-5 倍还能保住准确率，比删 token 的老办法稳，做推理部署的可以看看。

arXiv 新论文提出 SERA，合并多个微调模型时按任务分配秩预算，总预算不变还能涨点。

这篇论文揭示了SVD压缩在注意力机制中与秩崩溃的复杂关系，对模型压缩和优化有重要启示。

这篇论文提出了SiM方法，不用额外训练就能动态路由多任务模型，只用少量样本预计算，效果逼近独立专家。