AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：因果注意力×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月10日
12:12
12:12arXiv cs.LG@Albert Gong, Annabelle Michael Carrell, Raaz Dwivedi, Lester Mackey
精选
研究人员提出了一种名为 Express 的新工具，能将非因果注意力近似转换为因果注意力近似，并保持相同的近似保证。结合最先进的 Thinformer 近似，Express 在因果注意力上实现了已知最佳近似误差，仅需 O(s) 内存和 O(s² log²(n)) 压缩开销。该工具通过高效的 I/O 感知 Triton 实现，在长上下文预填充、KV 缓存压缩、长序列解码等场景中显著超越 FlashAttention 2。这解决了语言模型在长序列处理中的四个关键资源瓶颈。
论文注意力近似因果注意力长上下文KV缓存压缩Triton实现
推荐理由：做长上下文语言模型推理优化的团队，Express 能同时提升预填充和解码效率，值得直接集成到现有流水线中。
原文