#ALiBi

一篇注意力机制新论文，MoSAR 让模型自己学注意力的距离衰减方式，500M 参数实验里困惑度赢过 RoPE 和 ALiBi，长文本方向的可以看看。