#线性注意力

研究人员提出LeapQuant，解决了线性注意力模型中状态量化的精度损失问题，在保持FP32基线精度的同时显著提升推理速度。

一篇改进 GLA 的论文，思路是把不同注意力头分到不同时间分辨率再动态融合，召回任务提升最高 18.9%，做线性注意力方向的可以看看。

想让线性 ViT 免去从头预训练？这篇告诉你直接复制 MLP 权重再蒸馏注意力就能追平 Softmax 版本，方法很实用。