Vortex：高效可编程稀疏注意力系统，加速AI Agent探索

Vortex 是一个专为大规模语言模型（LLM）设计的稀疏注意力服务系统，解决了稀疏注意力算法在部署和评估中工程成本高的问题。它通过 Python 嵌入式前端语言和页面中心张量抽象，支持广泛稀疏注意力算法的快速原型设计、部署和评估。在 NVIDIA B200 GPU 上，Vortex 使 AI Agent 自动生成的算法吞吐量比全注意力提升高达 3.46 倍，并在 MLA 架构的 GLM-4.7-Flash 和 229B 参数的 MiniMax-M2.7 上分别实现 4.7 倍和 1.37 倍的吞吐量提升。该系统显著加速了稀疏注意力算法的迭代，尤其适用于长序列生成场景。