论文72°10:15分析驱动的Transformer线性化:缩小与Softmax的差距这篇论文搞清楚了Transformer线性化为什么delta式更厉害,还给出了具体修补方案,在LLaMA和Qwen上跑到了32B,MMLU成绩比之前的后验方法好。#LLaMA#Qwen#Transformer#线性化1 个信源在谈事件专题aarXiv cs.LG@Anna Kuzina 等 3 人2 个信源在谈原文稍后读已读值得跟进有用关注 LLaMA