#Muir

一个改进 Gated DeltaNet-2 的线性注意力新架构，长文本外推到千万 token 还不掉点，训练还比 Transformer 快 2.7 倍，做长上下文的值得看看实现思路。