#attention heads

1 stories · 1 in 7 days · 1 in 30 days

剪枝 1 推理模型 1 模型压缩 1 量化 1

Stories, products and papers tagged "attention heads", newest first.

Nov 6

Papers Builders11:58

Chinese content新研究：模型越大，量化剪枝造成的损伤越难被网络自行补偿

研究了量化剪枝为什么在大模型上更伤——用 attention heads 消融分解把补偿和真实损失拆开了，做模型压缩的可以看看。

#量化 #剪枝 #attention heads #模型压缩

arXiv cs.AI@Gautam Gupta et al. (10)Source