#相对位置注意力

把相对位置注意力塞进 FlashAttention 式内核，8K 序列反向最快快 21 倍，还省了 128 倍内存，做音频或长序列 transformer 的可以看看。