Chinese contentSVD-Attention：用 SVD 分解诊断 Transformer 注意力头的低秩冗余
arXiv 上一篇分析工具论文，用 SVD 拆开注意力头看哪些层真有冗余，还能和剪枝叠起来省 8-11% 推理计算。
#SVD-Attention
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "SVD-Attention", newest first.
Oct 27
arXiv 上一篇分析工具论文，用 SVD 拆开注意力头看哪些层真有冗余，还能和剪枝叠起来省 8-11% 推理计算。