论文提出共享全局 KV 加层级本地历史方案，降低语言模型困惑度
arXiv 上一篇讲 KV 缓存的新论文，用本地历史替换当前 token 分支，126M 模型上困惑度降了约 1.4%，做推理优化的人可以看看。
#GQA
共 4 条 · 7 天 0 条 · 30 天 1 条
信息流里打上「GQA」标签的资讯、产品与论文，按刊登时间排，新的在上。
9月24日
7月31日
6月17日
用xFormers构建内存高效Transformer：Packed Sequences、GQA、ALiBi、SwiGLU和因果注意力教程
手把手教你用xFormers做内存优化，打包序列、GQA、ALiBi、SwiGLU全都有，比标准实现省显存还快。
5月23日
OpenMythos 教程：构建循环深度 Transformer，支持 MLA、GQA、稀疏 MoE 和循环缩放推理
想低成本在 Colab 里跑循环深度 Transformer 的研究者可以直接上手——OpenMythos 把 MLA、GQA、稀疏 MoE 这些前沿结构打包成了可复现的教程，做注意力机制或推理效率优化的团队值得点开。