#Transformer

这篇论文发现Transformer学算术的方式跟人很像，用教人算术的策略来调模型，效果还真不错，想了解LLM推理机制和可解释性的话值得一看。

一种新的Transformer改进：只改中间20%的层加个循环机制，就能让模型推理更持久，而且可以直接改装现有模型不用从头训。

VAIOM 是专门处理金融连续数据的解码器模型，在汇率数据上比 LightGBM 强 0.03 比特以上，创新点是把连续输入和离散输出分开建模，值得做时序预测的人一看。

想搞懂Transformer为什么深了还能训练？这篇从秩角度拆解跳接、归一化、双矩阵的设计逻辑，比堆实验更透彻。

这篇论文给出了一个白盒方法ROBIN，能精准定位模型中的偏见注意力头并修复，比直接抹掉整个头效果好。

这篇论文揭示了量子电路合成里Transformer的一个关键问题：自回归漂移让长电路精确匹配率从88%几乎归零，即使数据翻倍也只能部分缓解，值得搞量子计算和AI交叉的人看。

这篇论文用数学方法搞清楚了Transformer在归纳推理任务中怎么学习不同策略，还解释了in-context和in-weights学习谁赢跟数据统计有关，挺有启发性。

这篇论文告诉你，不用几千GPU天也能搜出好架构，普通3060显卡3小时就能找到比ResNet-20更小的CIFAR-10模型，还能直接优化欺诈检测的F1分数。

这篇论文讲了Transformer的理论短板——表达性研究够了，但学不学得会还不知道。他们用C-RASP给出了样本复杂度的初步界限，对想深挖模型理论的人很有用。

这篇论文用Pythia模型实测了Transformer内部动力学的红外组织现象，发现记忆核呈标度无关性，挺硬核的理论研究。

这篇论文用对比学习做EEG预训练，比传统掩码重构效果好，架构设计很实在，搞脑机接口的可以看看。

这篇论文搞清楚了Transformer线性化为什么delta式更厉害，还给出了具体修补方案，在LLaMA和Qwen上跑到了32B，MMLU成绩比之前的后验方法好。

这篇论文提出了一个统一的采样框架，帮你理解模型在不同大小输入上的泛化能力，还能把大输入压缩成小输入来节省计算，例子涵盖Transformer和图神经网络。

这篇论文用可控实验证明了RL后训练能从头组合出高级推理策略，不是只增强已有技能，对理解强化学习训练机制很有启发。

这篇论文用Transformer代理模型给医疗AI做局部解释，还能直接对齐临床知识，让黑箱诊断更可信。

这篇论文的Exformer模型专门处理时间序列中的极端事件，比如洪水，比普通Transformer在3天预报上表现更好。

这篇论文发现RL训练只需调优一层Transformer就能接近全参数效果，还揭秘中间层才是关键，刷新认知。

这篇论文把Transformer的预测和记忆分开了，实验证明效果更好，下游任务平均提了2-3个点，搞LLM架构的值得细看。

这篇论文用几何视角解释了神经网络为什么先死记硬背后突然泛化，还找到了一个简单技巧（约束隐藏层半径）让 grokking 快 6 倍，值得搞训练的人看看。

这篇论文告诉你如何在不牺牲性能的前提下大幅降低多模态大模型的计算量。他们在Qwen3-VL上砍了33.7%的算力，性能只掉了0.5%，方法很巧妙。

这篇论文给Transformer的提示调优、微调等技术找到了数学理论，解释了为什么注意力机制能压缩信息。

想用Transformer预测城市网络流量？这个PEHT用LoRA大幅减少参数，还能融合拥堵数据，实测精度超过现有方法。

这篇论文把GPT-2用在轴承故障诊断上，只用10%的标签数据就比SOTA高了17个百分点，工业场景下很实用。

想快速搞懂主流Transformer架构和各家模型？这篇综述帮你理清了架构分类和应用场景，还比较了参数和能耗，适合做调研入门。

这篇论文发现了一个简单技巧：同等算力下，把更多参数分给前几层、少给后几层，模型效果就能更好，试了多种架构都管用。

新方法让十亿参数Transformer通过双向学习实现线性合并，损失屏障极低，视觉和语言模型都验证有效。

这家日本AI公司有Transformer论文作者和前Google Brain负责人，主打集体智能，背景扎实值得看。

berryxia@berryxia原文

这篇论文提出多任务贝叶斯ICL框架，速度比传统方法快几个数量级，还能适应新先验，在温度预测上表现很好。