#RISA

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "RISA", newest first.
Nov 18
Chinese contentRISA:面向块扩散语言模型的可恢复稀疏注意力方法

块扩散模型长上下文慢,是因为每步去噪都要重读整份 KV cache。RISA 让一个块内所有去噪步骤共享一份稀疏读取计划,32K 加速 2.67 倍,128K 到 5.53 倍。做长文本生成、关注扩散语言模型部署的人可以看看,比 MAGE、QUEST、LoSA 同等 KL 下更快。

arXiv cs.LG@Xinrui Zhong et al. (3)Source