论文10:57
面向高效Transformer的互补注意力头剪枝想压缩Transformer模型？CAHP自动剪掉冗余注意力头，不用调参，在SST-5和MNLI上比梯度方法更强，还保住了中间层的关键结构。
#SST-5
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「SST-5」标签的资讯、产品与论文，按刊登时间排，新的在上。
6月18日
想压缩Transformer模型？CAHP自动剪掉冗余注意力头，不用调参，在SST-5和MNLI上比梯度方法更强，还保住了中间层的关键结构。