#FlashAttention-2

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "FlashAttention-2", newest first.
Nov 20
PapersBuildersMulti-source12:40
Chinese contentDTS:基于差分的分块打分方法加速长上下文稀疏注意力

处理超长文档或大代码库时,prefill 经常卡在注意力计算上。这篇论文的 DTS 不用训练,打分延迟比 XAttention 低 38%,512K tokens 下还有 3.3 倍加速,精度几乎不掉。做长上下文推理优化的工程师可以看看实现思路。

Event
arXiv cs.LG@Emre Uğur et al. (3)Source