精选理由
做长上下文语言模型推理优化的团队，Express 能同时提升预填充和解码效率，值得直接集成到现有流水线中。
研究人员提出了一种名为 Express 的新工具，能将非因果注意力近似转换为因果注意力近似，并保持相同的近似保证。结合最先进的 Thinformer 近似，Express 在因果注意力上实现了已知最佳近似误差，仅需 O(s) 内存和 O(s² log²(n)) 压缩开销。该工具通过高效的 I/O 感知 Triton 实现，在长上下文预填充、KV 缓存压缩、长序列解码等场景中显著超越 FlashAttention 2。这解决了语言模型在长序列处理中的四个关键资源瓶颈。
AI 翻译 · 中文
研究人员提出了一种名为 Express 的新工具，能将非因果注意力近似转换为因果注意力近似，并保持相同的近似保证。结合最先进的 Thinformer 近似，Express 在因果注意力上实现了已知最佳近似误差，仅需 O(s) 内存和 O(s² log²(n)) 压缩开销。该工具通过高效的 I/O 感知 Triton 实现，在长上下文预填充、KV 缓存压缩、长序列解码等场景中显著超越 FlashAttention 2。这解决了语言模型在长序列处理中的四个关键资源瓶颈。
We introduce a new tool, Express, for converting a non-causal attention approximation into a causal approximation with matching approximation guarantees. When combined with the state-of-the-art Thinformer approximation, …