Transformer 相关 AI 资讯

7月10日

18:08

AI Will@FinanceYF5

该视频教程通过5个阶段（LLM入门、Transformer架构、训练过程、模型现代化改造、扩展）完整演示如何从零构建大语言模型。作者全程边讲边敲代码，覆盖ChatGPT、Claude等模型的核心原理。视频时长3小时，代码全程可见，适合想深入理解LLM工作原理的开发者。

技巧 LLM Transformer 训练过程教程代码实践

推荐理由：想搞懂ChatGPT和Claude怎么造出来的？这个3小时教程从零敲代码，全程干货，比看书快多了。

原文

7月9日

10:15

官方账号arXiv cs.LG@Anna Kuzina, Paul N. Whatmough, Babak Ehteshami Bejnordi

72°

论文揭示了因果自注意力二次复杂度对长上下文推理的瓶颈，在冻结骨干网络下隔离了状态更新设计的效果。研究表明Softmax依赖key相关的秩1正交投影，解释了为何delta式网络优于纯门控累积。作者通过引入sink token、短卷积和固定预算缓存路由等结构干预，减少了近似误差。在LLaMA和Qwen模型上扩展至32B参数，MMLU基准超越了先前后验线性化方法，长上下文检索匹配复杂自适应缓存框架。

论文 LLaMA Qwen Transformer 线性化 MMLU

推荐理由：这篇论文搞清楚了Transformer线性化为什么delta式更厉害，还给出了具体修补方案，在LLaMA和Qwen上跑到了32B，MMLU成绩比之前的后验方法好。

原文

09:57

官方账号arXiv cs.LG@Eitan Levin, Venkat Chandrasekaran

该论文提出使用随机采样映射（如替换采样、随机分箱、物种采样）来比较不同大小的输入（如点云点数量不同、序列token长度不同、图节点数不同）。通过分析领域内问题实例的对称性，确定了每种采样类型的适用场景。框架给出了函数类连续性的显式泛化率和草图化率，涵盖序列、图和张量上的函数族。具体例子包括矩多项式、同态密度、置换不变Transformer和图神经网络。

论文采样泛化图神经网络 Transformer Sketching

推荐理由：这篇论文提出了一个统一的采样框架，帮你理解模型在不同大小输入上的泛化能力，还能把大输入压缩成小输入来节省计算，例子涵盖Transformer和图神经网络。

原文

09:34

官方账号arXiv cs.AI@Azwar Abdulsalam, Nishil Patel, Andrew Saxe

论文在可观测的符号重写语法环境中研究RL后训练能否组合原始技能。Transformer在原始符号重写链上预训练，后通过二元最终答案奖励的Trace推理任务进行RL训练。RL能解决预训练模型即使加大采样预算也极少解决的难题，而拒绝微调早期有提升但随后停滞。Trace分析显示RL通过阶段性组合机制：先强化原始缩减，再发现有效组合过程，包括顺序组合和并行组合。对比表明RL相较于拒绝微调的关键差异不在于探索量，而在于选择性——RL将探索聚焦于有效可复用结构。

论文 Transformer RL rejection fine-tuning 组合推理强化学习

推荐理由：这篇论文用可控实验证明了RL后训练能从头组合出高级推理策略，不是只增强已有技能，对理解强化学习训练机制很有启发。

原文

7月8日

10:02

官方账号arXiv cs.LG@Jie Huang, Pengfei Yin, Zihan Xu, Daniel Capurro, Mike Conway, Ting Dang

电子健康记录基础模型（FEMR）预训练于大规模结构化患者数据，但缺乏可解释性。X-FEMR训练一个Transformer代理模型来近似FEMR在两个预测任务上的行为。该方法识别最影响预测的token，揭示患者历史不同方面的重要性。引入临床对齐度量，量化代理模型关键token与临床验证特征的一致性。实验表明代理模型能很好近似FEMR预测，token级解释与临床知识对齐。

论文 FEMR X-FEMR Transformer 电子健康记录可解释性

推荐理由：这篇论文用Transformer代理模型给医疗AI做局部解释，还能直接对齐临床知识，让黑箱诊断更可信。

原文

7月3日

12:04

官方账号arXiv cs.LG@Sanjeev Shrestha, Hui Liu, Yifan Zhang

Exformer提出极端自适应注意力机制，包含Local、Stride和Extreme三个稀疏组件，分别捕捉短期、周期性和事件依赖。在4个真实水文数据集上，Exformer在3天预报任务中优于State-of-the-Art基线。该模型显式建模正常与极端流模式的依赖关系，提升了在高度偏态分布数据上的预测能力。

AI模型 Exformer Transformer 时间序列预测极端事件水文预测

推荐理由：这篇论文的Exformer模型专门处理时间序列中的极端事件，比如洪水，比普通Transformer在3天预报上表现更好。

原文

7月2日

12:35

官方账号arXiv cs.LG@Zijian Zhang, Rizhen Hu, Athanasios Glentis, Dawei Li, Chung-Yiu Yau, Hongzhou Lin, Mingyi Hong

本文基于Qwen3和Qwen2.5共7个模型，使用GRPO、GiGPO、Dr. GRPO三种RL算法，在数学推理、代码生成和智能体决策任务上实验。研究发现训练单层Transformer即可恢复全参数RL训练大部分甚至全部改进。作者引入“层贡献”指标量化单层训练相比全参数训练的收益比例。结果显示RL收益高度集中于少数中间层，输入输出层贡献显著较低。

论文 Qwen3 GRPO Transformer RL训练推理模型

推荐理由：这篇论文发现RL训练只需调优一层Transformer就能接近全参数效果，还揭秘中间层才是关键，刷新认知。

原文

11:04

官方账号arXiv cs.AI@Giovanni Monea, Nathan Godey, Kianté Brantley, Yoav Artzi

该论文提出状态-预测分离假设，认为Transformer中预测下一个token与存储有用状态可被分离。作者设计双流Transformer变体，将两个功能分配到不同计算流。在多个规模下的预训练实验中，该方法在数据和计算效率上持续优于标准Transformer，验证损失更低，下游任务平均提升2-3个百分点。额外实证分析排除了潜在混淆因素，揭示了设计带来的梯度差异。

论文 Transformer 状态-预测分离语言建模双流架构预训练

推荐理由：这篇论文把Transformer的预测和记忆分开了，实验证明效果更好，下游任务平均提了2-3个点，搞LLM架构的值得细看。

原文

7月1日

16:57

量子位@衡宇

卡帕西、李飞飞、辛顿等AI领域知名人物共同投资了这家开发Transformer专用芯片的公司。该芯片针对Transformer架构进行了硬件优化，专为加速AI推理设计。公司已签下一份价值10亿美元的大订单。目前芯片已成功流片，进入量产准备阶段。

AI产品 Transformer 卡帕西李飞飞辛顿 AI芯片

推荐理由：卡帕西、李飞飞、辛顿都投了这家做Transformer专用芯片的公司，刚签下10亿美元大单，芯片已流片，值得一看。

原文

10:32

官方账号arXiv cs.AI@Srijan Tiwari, Aditya Chauhan, Manjot Singh

该论文对神经网络在算法任务上的延迟泛化（grokking）现象进行几何分析，发现交叉熵优化下隐藏表示的径向膨胀是延迟的主因。作者提出径向-角分解并推导三个可检验命题，引入单一超参数范数惩罚将激活约束在 sqrt(d) 半径超球面上。在模算术任务上，该惩罚使 MLPs 和 Transformers 的 grokking 加速高达 6 倍；对 10M 参数的 nanoGPT 在 3 位数加法上训练步数减半。

论文 Grokking 泛化几何分析 Transformer 深度学习

推荐理由：这篇论文用几何视角解释了神经网络为什么先死记硬背后突然泛化，还找到了一个简单技巧（约束隐藏层半径）让 grokking 快 6 倍，值得搞训练的人看看。

原文

10:08

官方账号arXiv cs.AI@Zhaoyang Luo, Runmin Dong, Miao Yang, Fan Wei, Yushan Lai, Bin Luo, Haohuan Fu

论文提出一种操作级视觉令牌跳过框架，将Transformer层分解为注意力与FFN操作，选择性跳过冗余计算。实验覆盖3种MLLM架构（含Qwen3-VL）和10个VQA基准，实现精度-效率权衡：在Qwen3-VL上减少33.7% TFLOPs，保留99.5%的原始性能。关键发现是晚期视觉令牌更新对答案表示影响很小，且有效计算具有操作主导性和层依赖性。

论文 MLLM Qwen3-VL 推理加速 VQA Transformer

推荐理由：这篇论文告诉你如何在不牺牲性能的前提下大幅降低多模态大模型的计算量。他们在Qwen3-VL上砍了33.7%的算力，性能只掉了0.5%，方法很巧妙。

原文

6月30日

14:30

AI Will@FinanceYF5

Christopher Manning（GloVe词向量、Transformer注意力机制联合发明人）将于Stanford HAI发表演讲。他曾获2024年IEEE John von Neumann Medal。演讲主题聚焦世界模型，探讨语言模型遇上具身智能。他是Stanford NLP Group创始人及CS224N课程创建者。

行业 Christopher Manning GloVe Transformer 世界模型具身智能

推荐理由：GloVe和Transformer的创造者Manning要讲语言模型怎么和机器人结合了，想了解具身智能世界模型的可以听听。

原文

09:59

官方账号arXiv cs.LG@Peilin Liu, Ding-Xuan Zhou

论文提出一个基于分布回归的Transformer学习框架，将两阶段采样过程与自然语言处理关联。定义了注意力算子，证明Transformer可无损压缩分布为函数表示。相比卷积神经网络和全连接网络，Transformer在更复杂结构的功能学习上表现更强。该框架还为大语言模型中的提示调优、参数高效微调、高效缩放等技术提供理论洞见。

论文 Transformer 注意力机制分布回归泛化分析大语言模型

推荐理由：这篇论文给Transformer的提示调优、微调等技术找到了数学理论，解释了为什么注意力机制能压缩信息。

原文

02:49

02:49官方一手Hugging Face: Blog（博客/媒体）

精选

Allen AI 发布 DiScoFormer，一种基于 Transformer 的架构，同时学习任意数据分布的密度函数和得分函数。传统方法如 NICE、MAF、ResFlow 需分别建模或使用归一化流，DiScoFormer 通过单一模型完成且无需显式归一化。在 2D 环形、高维高斯混合等多个基准分布上，DiScoFormer 的密度估计和得分误差均低于这些基线。该论文已被 NeurIPS 2024 接收，代码和预训练模型已在 GitHub 开源。

AI模型 DiScoFormer Allen AI Transformer 密度估计生成模型

推荐理由：Allen AI 搞了个新模型 DiScoFormer，一个 Transformer 既能算密度又能算得分，比 NICE 这些老方法误差更低。想省事搞密度估计的可以看看。

原文

6月29日

10:10

官方账号arXiv cs.AI@Abdolazim Rezaei, Mehdi Sookhak, Mahboobeh Haghparast

论文提出参数高效混合Transformer（PEHT），将LoRA集成到Transformer编码器中以减少可训练参数，同时在解码器中融合外部移动性和拥堵特征。在Telecom Italia Milan数据集和多个合成拥堵场景上的实验显示，PEHT在RMSE、MAE和R²指标上优于现有基线。该模型针对动态城市蜂窝网络中的资源分配优化，代码已在GitHub开源。

AI模型 PEHT LoRA 网络流量预测 Transformer 交通拥堵融合

推荐理由：想用Transformer预测城市网络流量？这个PEHT用LoRA大幅减少参数，还能融合拥堵数据，实测精度超过现有方法。

原文

6月26日

11:01

AI Will@FinanceYF5

精选

Jayden Teoh提出Next-Latent Prediction（NextLat），一种自监督学习方法。该方法教Transformer预测下一个隐状态而非直接预测token。NextLat使模型形成紧凑的世界模型，在推理和规划任务上表现更好。通过自speculative decoding，推理速度最高提升3.3倍。

AI模型 NextLat Transformer 推理模型自监督学习加速推理

推荐理由：Transformer预测隐状态而不是token能加速3.3倍，还能形成世界模型。Jayden Teoh的新框架值得看看。

原文

6月25日

18:03

18:03IT之家（博客/媒体）

富士通发布了PHOTON架构，在多查询场景下性能最高可达Transformer架构的475倍。该架构通过语义分层处理替代词元级分割，降低计算复杂度并提升并行性。测试显示，在600M、900M和1.2B参数模型上，PHOTON实现了更高的迭代吞吐量和更低的内存占用。其中1.2B模型性能提升475倍，但质量略有下降。

AI模型富士通 PHOTON Transformer 推理模型智能体

推荐理由：富士通新架构PHOTON在多查询任务上比Transformer快475倍，1.2B小模型实测，省内存省GPU。

原文

00:51

00:51官方一手Hugging Face: Blog（博客/媒体）

精选

NVIDIA 发布 NeMo AutoModel，通过自动化模型并行、混合精度训练和梯度检查点，简化 Transformer 模型微调流程。该工具可自动检测硬件配置，支持多 GPU 分布式训练，无需手动调整参数。在微调 BERT-base 模型时，相比标准 PyTorch 实现，NeMo AutoModel 将训练时间缩短约 40%，并保持相同精度。

技巧 NVIDIA NeMo AutoModel Transformer 微调

推荐理由：NVIDIA 搞了个 NeMo AutoModel，能自动帮你加速微调 Transformer 模型，省去手动调参的麻烦，速度还快很多，适合想快速出结果的人。

原文

6月24日

11:40

官方账号arXiv cs.LG@Jinghan Wang, Feng Cheng, Wentao Wu, Hang Li, Gaoliang Peng, Tianchen Liu

该论文提出一种知识引导的两阶段迁移学习框架，核心是一个轻量级GPT-2风格Transformer，利用因果自注意力从振动信号中分层提取特征。框架通过多源预训练学习通用表示，并借助原型知识调制和分类自适应实现跨域迁移。在4个真实数据集上，仅用10%标签数据即达92.61%平均准确率，比现有最佳方法高17.24个百分点。该方法为工业4.0低成本预测性维护提供了可行方案。

论文 GPT-2 Transformer 轴承故障诊断迁移学习小样本学习

推荐理由：这篇论文把GPT-2用在轴承故障诊断上，只用10%的标签数据就比SOTA高了17个百分点，工业场景下很实用。

原文

09:38

官方一手arXiv: Anthropic@Guruprakash J, Krithika L. B

该综述将Transformer架构分为encoder-only、decoder-only、encoder-decoder、长上下文、置换基与生成对抗等变体，并涵盖2023年后指令微调、RLHF、DPO、MoE、RAG等进展。它梳理了OpenAI、Anthropic、Google、Meta、Mistral、DeepSeek等主流模型家族。在应用侧调研了医疗、金融、法律、教育等7个领域的部署。论文从参数规模与能耗的权衡、对齐方法、数据溯源及基准饱和四个维度评估模型。它还点名了值得关注的开放研究问题。

论文 Transformer 语言模型综述架构比较模型评估

推荐理由：想快速搞懂主流Transformer架构和各家模型？这篇综述帮你理清了架构分类和应用场景，还比较了参数和能耗，适合做调研入门。

原文

6月23日

13:13

官方账号arXiv cs.AI@Reza Bayat, Ali Behrouz, Aaron Courville

当前语言模型在深度上均匀分配参数，但研究表明各层贡献不同。该论文在固定预算下实验发现，将更多参数分配给前层、减少后层可以改进困惑度。提出Tapered Language Models（TLMs），通过余弦调度平滑锥形化MLP宽度。在Transformer、Gated Attention、Hope-attention和Titans四种架构上，三个模型尺度均一致提升困惑度和下游基准性能，且不增加参数或计算量。

论文 Tapered Language Models Transformer Titans 参数分配模型架构

推荐理由：这篇论文发现了一个简单技巧：同等算力下，把更多参数分给前几层、少给后几层，模型效果就能更好，试了多种架构都管用。

原文

12:49

官方账号arXiv cs.LG@Tianyi Li, Zhiqiang Shen

现有线性模式连通性方法通常只从一个模型端点优化插值路径，难以扩展到大型Transformer。我们提出新框架，应用功能保持的权重变换对齐等价解，并让两个模型双向学习向共享线性插值路径的变换。双向优化大幅减少插值障碍，在中等参数规模语言模型上实现了WikiText近零损失屏障（首次展示该规模下近无屏障线性连通）。视觉领域ViT-L在插值路径上保持ImageNet top-1准确率超69%，十亿参数LLM只表现出小损失屏障。这些结果表明解决参数对称性能使大预训练Transformer通过简单线性路径连通和合并。

AI模型 Linear Mode Connectivity Transformer 模型合并双学习匹配预训练模型

推荐理由：新方法让十亿参数Transformer通过双向学习实现线性合并，损失屏障极低，视觉和语言模型都验证有效。

原文

00:42

berryxia@berryxia

Sakana AI是一家2023年在东京成立的AI研发公司，由David Ha（前Google Brain日本团队负责人）、Llion Jones（Transformer论文共同作者）和Ren Ito（前日本外交官、Mercari早期员工）联合创立。公司核心定位是开发“自然启发”的AI模型，强调集体智能和演化方法，旨在摆脱单一大模型限制。该公司的创办背景体现了日本AI主权的战略需求，团队和运营完全基于东京。

行业 Sakana AI David Ha Llion Jones Transformer 日本AI

推荐理由：这家日本AI公司有Transformer论文作者和前Google Brain负责人，主打集体智能，背景扎实值得看。

原文

6月20日

12:57

官方一手歸藏(guizang.ai)@op7418

精选71°

Noam Shazeer（Transformer论文作者之一、MoE架构提出者）加入OpenAI，负责模型架构研究。谷歌此前以27亿美元收购Character.AI换取他加入谷歌。但Shazeer在谷歌停留短暂后即转投OpenAI。

行业 Noam Shazeer Transformer MoE OpenAI Character.AI 模型架构

推荐理由：Transformer论文作者Noam Shazeer，MoE提出者，跑到OpenAI研究模型架构了，谷歌27亿美元白花了？

原文

6月19日

11:43

官方账号arXiv cs.LG@Qingyang Zhu, Eric Karl Oermann, Kyunghyun Cho

该研究提出多任务上下文学习框架用于分层贝叶斯预测推理，将先验信息表示为上下文数据集的前缀。使用Transformer在序列先验和目标任务上训练，学会跨先验家族调整预测。在包含元分布外先验和高维潜在结构的评估中，该方法匹配oracle贝叶斯预测器，速度提升数个数量级。在真实世界时空温度预测基准上验证了实际效果。

论文贝叶斯推理上下文学习多任务学习 Transformer

推荐理由：这篇论文提出多任务贝叶斯ICL框架，速度比传统方法快几个数量级，还能适应新先验，在温度预测上表现很好。

原文

00:35

官方账号Microsoft Research@MSFTResearch

微软研究院的Subutai Ahmad和Nicolò Fusi与公司副总裁Doug Burger探讨人类记忆与机器智能的差异。他们发现Transformer架构能通过持续五小时的故事输入记住一个新密码。这项对比研究揭示了机器在长期信息保留上的独特优势。相关讨论视频已在Twitter上发布。

行业 Transformer 微软记忆机制机器智能

推荐理由：微软研究员拿Transformer和人类比记忆：听五小时故事，它能记住新密码，你行吗？看看具体差异在哪。

原文

6月18日

18:19

Aadit Sheth@aaditsh

88°

据X用户aaditsh透露，谷歌在2024年支付27亿美元，这笔交易的主要目的是将Transformer论文合著者Noam Shazeer从Character.ai带回。但Noam在谷歌工作不到两年后，于2026年宣布加入OpenAI。这相当于每月超过1亿美元的人才成本。Noam曾用几行训练代码拯救了Gemini项目，现在将参与OpenAI的架构建设。

行业 Noam Shazeer Google OpenAI Character.ai Transformer 人才竞争

推荐理由：Noam Shazeer刚加入OpenAI，之前谷歌花27亿签他都没留住。你想知道AI圈顶级人才有多贵吗？点开看看。

原文

17:29

官方账号Amazon Science@AmazonScience

亚马逊AI、芯片与量子负责人Peter DeSantis在VivaTech表示，最大的AI突破尚未到来。他认为Transformer不会是最后一个AI架构，现有模型架构将被超越。芯片和模型必须协同进化，才能实现未来突破。这一观点挑战了当前以Transformer为主流的AI发展路径。

行业 Amazon Peter DeSantis Transformer VivaTech 芯片

推荐理由：亚马逊的AI老大说了，Transformer不是终点，芯片和模型得一起进步才能搞出大新闻。

原文

15:25

官方账号Decoder@Matthias Bastian

Noam Shazeer是2017年Transformer论文《Attention Is All You Need》的合著者，曾共同领导Google Gemini模型。2024年他作为27亿美元交易的一部分从Character.AI重返Google，现又转投OpenAI。这是继Andrej Karpathy跳槽Anthropic后，今年AI行业第二次重大高管变动。

行业 Noam Shazeer OpenAI Google Gemini Transformer

推荐理由：Transformer论文作者Noam Shazeer从Google跳到OpenAI了，他去年刚从Character.AI回归Google，这次跳槽节奏很快。

原文

13:13

13:13IT之家（博客/媒体）

88°

Noam Shazeer是2017年Transformer论文主要作者，曾因谷歌拒绝发布聊天机器人Meena（后演变为LaMDA）于2021年离职创办Character.AI。2024年8月，谷歌以27亿美元技术许可协议将其请回，他担任Gemini项目技术负责人并推动Gemini 3登顶多项排行榜。2026年2月他当选美国国家工程院院士。如今他宣布加入OpenAI，促使OpenAI CEO Sam Altman称其为最想合作的人之一。至此Transformer论文八位作者全部离开谷歌。

行业 Transformer OpenAI 谷歌 Character.AI 人才流动

推荐理由：Transformer之父二度出走，从谷歌跳到OpenAI。他发明了现代大模型的核心架构，这次跳槽说明顶级AI人才争夺有多激烈。

原文

11:12

官方一手歸藏(guizang.ai)@op7418

精选81°

Noam Shazeer，Character AI前CEO、Transformer论文作者之一及混合专家模型（MoE）架构提出者，宣布加入OpenAI。谷歌曾以27亿美元收购Character AI，旨在换取Shazeer加入，但他仅在谷歌短暂任职后便离职。Shazeer在社交媒体确认新职位，称期待与OpenAI团队合作。

行业 Noam Shazeer OpenAI Transformer MoE 行业动态

推荐理由：Transformer和MoE的发明者从谷歌跳到OpenAI了，看看他能为GPT-5带来什么新架构。

原文

11:06

官方账号Sam Altman@sama

88°

OpenAI CEO Sam Altman 发推表示，自公司成立之初就一直想与 Noam Shazeer 共事，如今历经10年终于实现。Noam Shazeer 是 Transformer 论文的共同作者之一，也是 Character.AI 的联合创始人。他此前在 Google 工作多年，此次从 Google 跳槽至 OpenAI。Shazeer 本人发推确认加入，并称做出这个决定很艰难。

行业 Noam Shazeer OpenAI Transformer Character.AI 人事变动

推荐理由：Transformer 共同作者 Noam Shazeer 从 Google 跳槽到 OpenAI，Altman 期待了10年，这个人加入可能会影响下一代模型研发。

原文

10:57

官方账号arXiv cs.LG@Yaniv Livertovsky, Shahar Somin, Gonen Singer

CAHP将注意力头选择重新定义为全局图论问题，利用图聚类和信息论距离识别互补子集。该方法无需预定义稀疏度，通过检测边际性能下降曲线自动确定每层保留的头数。在SST-5和MNLI基准上，CAHP在不同规模Transformer中均优于梯度方法，尤其在高压缩率下。结构分析表明，CAHP避免了梯度方法的“邻近偏差”，保留了模型中间层的功能关键头。

论文 CAHP Transformer 注意力头剪枝模型压缩 SST-5

推荐理由：想压缩Transformer模型？CAHP自动剪掉冗余注意力头，不用调参，在SST-5和MNLI上比梯度方法更强，还保住了中间层的关键结构。

原文

6月17日

10:45

官方账号arXiv cs.AI@Sajad Movahedi, Vera Milovanović, Shlomo Libo Feigin, Alexander Theus, Thomas Hofmann, Valentina Boeva, T. Konstantin Rusch, Antonio Orvieto

循环架构通过循环利用层数为组合推理任务提供逐步推理的归纳偏置。随着循环深度增加，信号传播问题加剧，影响模型性能。本文提出FPRM，一种基于Transformer的固定点推理模型，采用预归一化层和残差缩放解决信号传播，并以固定点收敛作为端到端停止机制。FPRM在Sudoku、Maze、状态跟踪和ARC-AGI基准上验证了有效性。

论文 FPRM Transformer 固定点推理推理模型架构优化

推荐理由：这篇论文提出了FPRM，用固定点收敛让循环推理深度自适应任务难度，在Sudoku和ARC-AGI上效果不错，适合关注推理架构的人。

原文

10:15

官方账号arXiv cs.LG@Viet-Hoang Tran, Vinh Khanh Bui, Van-Hoan Trinh, Tan Lai Ngoc, Tan M. Nguyen

精选

这篇论文研究了Transformer中注意力机制的函数等价性，重点分析了sinusoidal和旋转位置编码（RoPE）两种变体。作者发现sinusoidal编码保留了普通注意力的等价结构，而RoPE显著减小了对称群，从而增强了表达力。这一发现为RoPE在实践中的流行提供了理论解释。论文还讨论了位置编码如何影响线性模式连接性，并通过对齐算法证明连接性的存在和变化关键依赖于位置编码。实验表明使用RoPE的Transformer在参数空间具有更少的函数等价性，有助于优化和泛化。

论文 Transformer RoPE 位置编码注意力机制函数等价性

推荐理由：这篇论文解释了为啥RoPE比Sinusoidal位置编码更受青睐——它减少了参数空间的对称性，让Transformer表达力更强。如果你好奇背后的理论，值得一看。

原文

09:41

官方账号arXiv cs.AI@Andrea Santomauro, Luigi Portinale, Giorgio Leonardi

本研究从理论和实验两方面分析了相似性位置编码（simPE）在旋转扰动下的鲁棒性。论文首先证明simPE通常不具备旋转不变性，但基于Lipschitz假设推导出其在Frobenius范数下的显式扰动界。实验在四个数据集（Arrow、Shapes、Digits、FashionMNIST）上进行，测试图像逐渐增大旋转角度，simPE在准确率、F1、精确率和召回率上均优于标准学习型位置编码，尤其在小到中等旋转角度下表现更优。

论文 simPE 位置编码鲁棒性旋转不变性 Transformer

推荐理由：这篇论文证明了simPE在图像旋转下比标准位置编码更稳，用四个数据集给出了理论界和实验验证，做视觉Transformer的值得看。

原文

6月16日

09:48

官方账号arXiv cs.LG@Tien Thanh Thach

本文提出改进的Transformer架构，结合余弦退火调度和移位数据增强(SDA)用于一步股票指数预测。在VN30和S&P 500两个基准数据集上评估，余弦退火调度相比逆幂调度持续提升预测精度。SDA显著降低预测误差和运行间变异，提高对超参数选择的鲁棒性。组合方法在两个数据集上取得最佳性能，表明数据增强比增加模型复杂度更有效。

论文 Transformer SDA 股票预测时间序列金融预测

推荐理由：这篇论文在股票预测上用改进的Transformer和数据增强，在VN30和标普500上效果比堆模型还管用，值得看看具体方法。

原文

6月15日

11:12

官方账号arXiv cs.LG@Armand de Villeroché, Sibo Cheng, Vincent Le Guen, Marc Bocquet, Rem-Sophia Mouradi, Patrick Armand, Alban Farchi, Patrick Massin

Transformer神经算子在复杂几何PDE求解中表现出色，但现有方法假设固定域大小限制泛化。本文提出可分解注意力偏置与旋转位置编码，实现空间局部性和平移等变性，使模型在训练域2倍、4倍更大的域上零样本推理。在2个PDE基准（Navier-Stokes、Darcy）和1个3D工业大气流动应用中，该方法显著提升零样本泛化性能。代码和数据集已公开在GitHub。

论文 Transformer 神经算子零样本泛化 Domain extension

推荐理由：零样本推理更大域的新方法

原文

11:12

官方账号arXiv cs.AI@Ravi Ranjan, Utkarsh Grover, Xiaomin Lin, Agoritsa Polyzou

Transformer ASR模型如Whisper预测难解释。LEAF-X框架结合熵引导注意力加权、多层注意力展开和因果消融，定位低熵高影响头与层，生成稀疏token-帧归因。相比扰动解释器或原始注意力图，LEAF-X更好反映模型计算，忠诚度提升32%，局部性/稀疏性增强35-39%，归因最稳定。

论文 Whisper LEAF-X 可解释性 Transformer ASR

推荐理由：Whisper解释性更好用了

原文

6月14日

01:21

Aadit Sheth@aaditsh

精选

Andrej Karpathy（前特斯拉 Autopilot AI 负责人）发布了一门 3.5 小时的免费课程，详细讲解 ChatGPT 的工作原理。课程涵盖 Transformer 架构、训练流程（预训练、微调、RLHF）等核心内容。该课程完全免费，旨在普及大语言模型知识。

技巧 Andrej Karpathy ChatGPT Transformer RLHF 提示词工程

推荐理由：Karpathy 免费教 ChatGPT 原理

原文