11:22
官方账号arXiv cs.AI@Mahdi Heidari, Mohammad Mahdi Rahimi, Jaekyun Moon
推荐理由：这篇论文把稀疏和低秩两种思路拧在一起，解决Transformer的长序列瓶颈。不用算完整的注意力矩阵，就能同时抓住局部和全局信息。
ELSAA
共 1 条相关 AI 资讯
7月23日
11:22
ELSAA提出一种结合稀疏和低秩分支的注意力近似方法，避免显式计算完整的N×N注意力矩阵。稀疏分支捕捉高相似度交互，低秩分支压缩全局信息，并通过分母感知融合项平衡两者。该方法旨在支持更长上下文训练，同时保留token级交互和上下文混合能力。在多个长序列基准上验证了其效率与效果。