Chinese contentLatent Sparse Attention：让超长上下文注意力计算提速 72 倍
超长上下文跑不动？这篇论文用分层聚类做稀疏注意力，10M token 下比全注意力快 72 倍还不掉点，做长上下文的值得看看。
#GLM-5.3-FLASH
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "GLM-5.3-FLASH", newest first.
Nov 2
超长上下文跑不动？这篇论文用分层聚类做稀疏注意力，10M token 下比全注意力快 72 倍还不掉点，做长上下文的值得看看。