Chinese contentGTFormer 用图网络替代自注意力，实现 8192 倍长度外推
用图网络替掉自注意力，训练只到 512 长度就能零样本跑 400 万 token，线性内存还不爆显存，思路挺新鲜。
#GTFormer
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "GTFormer", newest first.
Oct 28
用图网络替掉自注意力，训练只到 512 长度就能零样本跑 400 万 token，线性内存还不爆显存，思路挺新鲜。