Transformer 相关 AI 资讯

8月25日

11:28

官方一手arXiv: Google DeepMind@Joshua Nunley

TANGO模型通过跨token门控残差更新替代了传统的Transformer块，在FineWeb-Edu、Lean和DeepMind Mathematics等基准测试中表现出色，与WANGO模型相比，在序列长度线性复杂度下计算效率更高。TANGO和WANGO均优于Recurrent和Untied Transformer++、full-attention GAU和FLASH模型。

论文 TANGO Transformer 自然语言建模

推荐理由：TANGO模型在自然和形式语言建模中表现出色，计算效率高，值得关注。与WANGO相比，在序列长度线性复杂度下表现更优。

原文

11:02

官方账号arXiv cs.LG@Federico Stella, Fei Jiang, Zhongshi Jiang, Zohar Barzelay, Emanuel Garbin, Amin Jourabloo, Liuhao Ge

Next-Scale Transformer模型在人脸多视角合成方面取得进展，通过高分辨率、多视角输出和跨视角一致性，实现更真实的人脸视图合成。模型在合成数据集上训练，无需2D预训练，使用通用预训练，最终生成清晰、逼真的3D人脸模型。

AI模型 Next-Scale Transformer 人脸合成 3D模型

推荐理由：Next-Scale Transformer模型在人脸合成方面表现出色，与现有模型结合，生成更精确的3D人脸模型，值得关注。

原文

8月24日

09:53

官方账号arXiv cs.LG@Mieszko Komisarczyk, Saurabh Mathur, Maurice Kraus, Sriraam Natarajan, Kristian Kersting

Tydra，一种混合Transformer-State Space Model架构，在30个OpenML数据集上，相较于TabPFN减少30%的推理时间，同时保持大部分预测性能，优于Hydra模型，表明混合架构是表格基础模型的有前景方向。

AI模型 Tydra 表格数据 Transformer

推荐理由：Tydra模型在保持预测性能的同时大幅降低推理时间，比Hydra模型更高效。

原文

8月22日

08:34

08:34官方一手Anthropic: Transformer Circuits（资讯）

精选

通过测量干扰权重对模型输出和损失的影响，我们在1层Transformer中识别出干扰权重。该研究有助于理解模型内部机制。

论文干扰权重 Transformer 模型内部机制

推荐理由：这篇论文揭示了小型语言模型中干扰权重的作用，对理解模型内部机制有重要意义，值得一读。

原文

8月18日

15:28

官方账号arXiv cs.AI@Benjamin Belay

该研究探讨语言模型输出能否携带可验证的内部计算证据。在模块化前馈网络和Transformer两种架构上，用算术任务训练模型，使其经过两个离散中间状态。系统在128对匹配测试中全部通过，检测器成功恢复认证内部状态信号。五个前馈模型和三个Transformer模型均复现了因果计算。单独答案实验中，线性探针未能恢复自然学习的中间状态。

论文计算溯源可解释性 Transformer

推荐理由：这篇论文用受控实验证明，模型输出能藏住内部状态的证据，128对测试全过，对理解AI可解释性挺有意思。

原文

10:18

官方账号arXiv cs.LG@Yushun Zhang

精选

论文为Adam优化器建立理论基础，揭示其收敛性受问题相关的相变支配：在恰当选择、依赖批量大小的超参数下Adam收敛，而小β₂下可能发散。通过分析Transformer训练的Hessian结构，发现其趋向近块对角形态且块间异质性强，这解释了Adam为何优于SGD。作者基于随机矩阵理论严格证明该结构来源，并由此设计出Adam-mini，将优化器内存占用减少50%且保持性能。结果对Muon等其他优化器的理解与改进也有启示。

论文 Adam Adam-mini Transformer

推荐理由：这篇论文把Adam的底裤扒干净了，还顺手做了个Adam-mini，显存省一半，效果不掉。搞训练优化的人值得看看。

原文

8月17日

10:28

官方账号arXiv cs.AI@Yubo Zhang, Yiyao Liu, Xiaodong Wang

该论文提出L2T框架，将MIMO检测建模为完整向量转移的随机序列。每个转移步骤中，信道耦合的Transformer更新实例嵌入与采样策略，并通过分块自回归分解捕获跨流依赖。硬输出检测采用递归转移网络，通过残差到BER课程训练，先学习精确残差度量的搜索几何，再对齐策略与传输比特准确率。软输出接收则通过参数级克隆，将训练好的硬策略应用于未绑定软输入软输出IDD接收机，并在LDPC解码中产生后验与外部对数似然比。多阶段训练策略稳定了硬到软的迁移。

论文 L2T MIMO Transformer

推荐理由：这篇论文提出L2T框架，用Transformer做MIMO检测的转移策略，硬输出和软输出都覆盖，挺有新意。

原文

10:27

官方账号arXiv cs.AI@Pin-Yen Huang, Sachin Chhabra, Prasanth Sai Gouripeddi, Abhinav Kumar, Baoxin Li

RecipeNet是一种层级Transformer架构，用于编码配方数据中步骤内的字段交互和步骤间的顺序依赖。实验在多个配方数据集和任务上进行，结果显示RecipeNet持续优于现有表格模型，证明了层级与顺序建模对配方表示学习的价值。该研究来自arXiv论文2608.14505v1。

论文 RecipeNet Transformer 配方数据

推荐理由：论文提出了RecipeNet，专门处理材料合成、制药配方这类结构化步骤数据，比通用表格模型更能捕捉层级和顺序信息。

原文

8月15日

10:11

orange.ai@oran_ge

评论者 oran_ge 在 X 上评价 DSH 是技术自嗨的巅峰之作。他认为 Transformer 在某种意义上也属于同类。这条推文目前获得 1 个喜欢和 1152 次浏览。

AI模型 DSH Transformer 模型架构

推荐理由：有人发推吐槽 DSH 和 Transformer 都是技术自嗨，虽然只有 1152 次浏览，但观点值得围观。

原文

8月13日

18:01

官方账号arXiv cs.AI@Rafi Ibn Sultan, Chengyin Li, Yiannos Demetriou, Ahmed I. Ghanem, Joshua P. Kim, Justine Cunningham, Hassan Bagher-Ebadian, Dongxiao Zhu, Kundan S. Thind

NA-UNETR是一种基于Transformer的3D分割模型，专门用于自由呼吸非增强CT中左前降支（LAD）动脉的精细分割。该模型在1000个CTA体积上预训练，并通过LoRA在20个CT扫描上微调，使用Dice-Focal与Hausdorff组合损失，经同方差不确定性动态平衡。在内部数据集上，NA-UNETR达到45.64% Dice、38.16 mm HD95和10.01 mm ASD，Dice较nnU-Net提升3.10个百分点，HD95较Swin UNETR降低2.96 mm。在ImageCAS上获得79.49% Dice、8.89 mm HD95和1.02 mm ASD。消融实验证实残差块、可变卷积核和不确定性加权损失均有效。

论文 NA-UNETR LAD分割医学图像分割

推荐理由：放疗圈看过来，这个模型把左前降支动脉分割做得更准，比nnU-Net和Swin UNETR都强，还用了LoRA省显存，值得试试。

原文

8月11日

07:07

Yangyi@Yangyixxxx

作者在乙巳年最后一天发布2026年AI行业11条趋势展望，其中3/4的预测已在半年内实现。作者认为26年产品将转向移动优先、对话优先的弱界面化形态，以Agent交互降低使用成本。文中提到Openclaw让个人助理可行性被看见，toA产品将爆发。预测Agent2Agent通用协议与人机协作群组将在今年流行，同时断言Transformer架构已难有大变化，需要新方法。

行业 Openclaw Agent2Agent 智能体

事件专题

推荐理由：作者盘点了11条2026年AI趋势，说3/4已经应验，断言Agent接管产品、toA爆发、Transformer到头，想抓风口的可以看看。

原文

8月7日

10:00

官方账号arXiv cs.LG@Sam Levang, Fran Bartolic, Ty Dickinson, Chase Dwelle, Paulius Rauba, Viktor Cikojevic

GEM-3是面向全球天气预报的概率模型，通过显式多时间步推理解决固定时间步的权衡。它用一组训练权重在推理时配置模型时间步，混合时间步训练比时间步专用模型更稳定。该模型是轻量邻域注意力Transformer，约134M参数，架构相对GEM-2有多项改进。它在中期概率预测上接近当前最优水平，并支持稳定扩展的长时间滚动预报。

论文 GEM-3 天气预报 Transformer

推荐理由：GEM-3让你用一套权重随时切换1到24小时预报时间步，跑得稳还实用，比固定时间步的模型灵活多了。

原文

8月6日

11:59

官方账号arXiv cs.AI@Ovi Paul, Tom J King, Ali Shokri

RepairFormer将结构化输入修复建模为监督序列生成任务，使用格式标签和oracle验证确保输出有效。其边界修复流程只针对检测到的故障区域，降低了输入规模，可支持修复更长的文件。评估中修复率达到88%，恢复率94%，在修复成功时内容保留最强。额外基准上修复97.57%、恢复94.29%，运行速度比现有方法快5倍。

论文 RepairFormer 结构化数据数据修复

推荐理由：RepairFormer用Transformer自动修复损坏的JSON等文件，保留内容，修复率88%，速度比现有方法快5倍。

原文

11:48

官方账号arXiv cs.LG@Devender Singh

论文研究矩阵分解模型 W=UV^T 下不同优化器的隐式偏置。梯度下降、动量、共享标量Adam、Muon、Shampoo具有规范等变性，Adam和RMSProp等坐标级方法不具备，因此后者无法继承低秩偏置。结构定理刻画了无记忆等变规则等价于Gram决定的左预条件，传递定理把梯度流的路径性质推广到公共标量流。在欠定矩阵感知的9种更新规则实验中，从坐标级到共享标量预条件的单参数族单调恢复偏置，说明各向异性是主因。Transformer实验中，Adam第一步就让两个规范等价初始化分离，最终 W_Q^T W_K 的相对Frobenius距离相差56%。高光谱数据集在匹配训练损失下，梯度下降在最低采样密度时将留出误差降低43-44%。

论文 Adam Muon 优化器

推荐理由：这篇论文证明了Adam没有梯度下降的低秩隐式偏置，在Transformer里能让等价初始化差56%，不是调参小事。

原文

09:51

官方账号arXiv cs.AI@Eduardo Valle, Fergal Reid

该研究在约100万参数的微型Transformer上测试了一种简单思维链（Chain of Thought）形式，命名为Protoreasoning。他们使用Dyck语言（正确嵌套括号的句子）定义推理友好任务，发现Protoreasoning轨迹大幅缩小了分布外泛化差距。消融实验证实，增益来自轨迹内容本身，而非额外标记数量。这为研究逐步推理提供了低成本实验平台。

论文 Transformer 思维链小模型

推荐理由：一篇用百万参数模型研究思维链的论文，提出Protoreasoning，能有效提升分布外泛化，比大模型实验更好分析。

原文

06:48

官方账号Cohere@cohere

Cohere 官方账号发布视频，配文称“学生 Transformer 已变成大师”，并引用了 Aidan Gomez 的推文。Aidan Gomez 在推文中写道“Time to bring back Google Brain”。这条互动推文在 X 平台获得 22 个点赞、2529 次浏览。

行业 Cohere Aidan Gomez Google Brain

推荐理由：Cohere 拿学生 Transformer 玩梗，Aidan Gomez 接话说要复活 Google Brain，这俩人到底在暗示啥，点开视频不就知道了。

原文

8月5日

20:53

20:53IT之家（博客/媒体）

中科院深圳先进院与清华大学团队在《Science Advances》发表研究，提出非接触激光超声传感与Transformer结合方案。双激光设计可将超声信号振幅提升10倍，信噪比达30dB。模型对SoC平均误差低于5.7%，对SoH平均误差低于2.1%。团队用40块商用电池、13种高倍率协议、超10万个样本验证，覆盖LFP和NCM材料。迁移学习使模型仅需少量数据即可适配不同电池体系。

论文锂电池 SoC SoH

推荐理由：不用贴探头就能测电池状态，深圳先进院这套激光超声方案SoC误差不到6%，还发了Science Advances，搞电池的值得看看。

原文

12:21

官方账号arXiv cs.AI@Srinivasan Arunachalam, Arkopal Dutt, Hari Krovi, Rik Sengupta

该论文证明低深度量子电路与经典语言模型之间存在无条件分离。作者构造了一个可由QNC^0电路采样的分布，任何常数轮扩散语言模型（DLM）即使允许链式思考（CoT）和输出token重掩码，也无法在常数距离内采样它。论文还给出一个由∧∘QNC^0[log log n]计算的函数，任何常数深度decoder-only transformer计算它时宽度需达到n^{Ω(1)}。

论文 QNC^0 Transformer 扩散语言模型

推荐理由：量子QNC^0能采的分布，扩散LM加CoT也采不出；Transformer要宽度n^Ω(1)才够。

原文

11:35

官方账号arXiv cs.AI@Marco Giunti, Fabrizia Giulia Garavaglia

这篇论文重新解释Transformer推理机制，提出SIDPP（序列级交互式动态并行处理）框架。作者用输出-权重互连描述部分网络的输出如何决定其他网络的权重，从而根据输入提示动态生成变换参数。他们发现动态处理的贡献随提示长度增长，可等于或超过静态处理，称为强提示敏感性。论文还推测人类语言处理可能也是类Transformer架构实现的SIDPP。

论文 Transformer SIDPP 动态处理

推荐理由：这篇论文把Transformer说成“用概念变换概念”，提出动态权重来自输入的新解释，还猜测人脑可能也这么处理语言。

原文

8月4日

12:37

Gary Marcus@GaryMarcus

78°

谷歌Titans团队提出记忆缓存方法，将RNN与Transformer统一为同一框架下的两种设置。该方法通过保存记忆检查点，使RNN的有效记忆随输入长度增长，计算复杂度为O(NL)，介于RNN的O(L)和Transformer的O(L²)之间。在16k针堆测试中，Titans模型的召回得分从21提升至32。该方法可后训练接入，让模型处理超出训练长度的上下文。纯Transformer在原始召回精度上仍占优，但记忆缓存在极低算力下大幅缩小了这一差距。

论文 Titans Transformer RNN

推荐理由：谷歌Titans团队的新方法用记忆缓存把RNN长上下文召回从21提到32，算力还远低于Transformer。

原文

10:15

官方账号arXiv cs.AI@Kehan Wang

论文提出Role-Decoupled Attention Residuals（RD-AttnRes），将查询/键与值的深度路由分开。在FineWeb-Edu上用五组种子训练120M和343M参数模型，各用2.0B token预算。RD-AttnRes在全部10项对比中降低验证负对数似然，120M和343M平均降幅分别为0.0301和0.0247，困惑度降低2.97%和2.43%。早期预算对照排除参数数、重复路由执行和固定值路由的干扰。路由诊断显示查询-键与值的深度分布持续分离。

论文 RD-AttnRes 注意力残差深度路由

推荐理由：只给值路由多加一条独立通道，120M/343M模型10组对照全胜，困惑度降2-3%。做Transformer的可以看看。

原文

8月3日

23:48

Suhail@Suhail

Suhail 在 X 上发文称，他仍对扩散模型未能达到与因果 Transformer 相近的影响力感到惊讶。目前扩散模型的实际影响与 Transformer 相比仍差至少一个数量级。Transformer 已成为现代 AI 的基础架构，而扩散模型主要局限于图像生成等领域。

行业扩散模型 Transformer Suhail

推荐理由：做 AI 的人都在聊 Transformer 和扩散模型，这条推文一句话点出两者的现实差距，值得一看。

原文

11:43

Gary Marcus@GaryMarcus

75°

Gary Marcus在推文中称，2017年以来除规模扩展外，最大突破是将基础模型扩展为整合工具和代码解释器的系统，例如Claude Code。João Mendonça则反驳，LLM领域已有9年没有突破，自2017年6月《Attention Is All You Need》和2017年1月应用稀疏MoE之后，架构没有质变。这场辩论的双方都承认，Claude Code是工具化系统路线的代表产品。

AI模型 Claude Code 智能体 Transformer

推荐理由：Gary说最大突破是模型加工具和代码解释器，像Claude Code；另有人说9年没真突破。

原文

09:28

官方账号arXiv cs.LG@Sergey Salishev

论文研究固定有限精度因果Transformer的转录管理机制，每个通道按块划分，PopContext操作可删除最新块并暴露前驱。无Pop的受限模型RTMTn{k}对任意固定k只能实现确定性有限状态转换。引入Pop后，单通道的k=1等价于DCFL，k≥2时表达能力升至RE。论文证明一个或两个智能体中的两个Pop转录本即可达到通用性。

论文 TMT RTMT Transformer

推荐理由：这篇论文把Transformer的上下文管理建模成带Pop的栈，证明两个可弹出的通道就够模拟一切可计算函数，比只看参数规模有意思多了。

原文

7月31日

12:37

官方账号arXiv cs.LG@Jonathan J. Heckman, Shani Meynet, Alessandro Mininno, Gary Shiu

该论文用机器学习判定超对称quiver规范理论中的Seiberg对偶，数学上等价于判断quiver的突变。在约10个节点的quiver上，Transformer和多层感知机架构的表现优于确定性算法。加入pathfinder算法（作者称之为“quiver版Google Maps”）后，搜索效率和准确率进一步提升。论文认为这类问题可作为前沿AI模型用于理论物理的基准测试。

论文 Seiberg对偶 quiver Transformer

推荐理由：这篇论文用AI判断两个物理系统是否对偶，在约10节点quiver上比传统算法快，还配了“quiver版谷歌地图”提高准度。

原文

11:23

官方账号arXiv cs.LG@Md Joshem Uddin, Astrit Tola, Cuneyt Gurcan Akcora, Baris Coskunuzer

TopoFormer是一个轻量且可扩展的图表示学习框架，核心模块Topo-Scan通过节点或边过滤将图分解为有序的拓扑token序列。这些序列捕捉从局部模体到全局组织的多尺度结构，并交给Transformer生成图级嵌入。与依赖持久同调的管线不同，Topo-Scan完全可并行化，且省去昂贵的图计算。论文在多个图分类和分子性质预测基准上达到与强GNN基线和拓扑方法持平或更优的结果，并提供了拓扑编码稳定性的理论保证。

AI模型 TopoFormer 图神经网络拓扑

推荐理由：图学习想换新思路可以看这个：TopoFormer用扫描把拓扑结构变成token，喂给Transformer就行，比传统持久同调快还准。

原文

7月30日

09:49

官方账号arXiv cs.LG@Filipa Lino, Bárbara Tavares, Carlos Santiago, Cláudia Soares, Manuel Marques

急诊部门（ED）面临患者需求不确定、季节性激增等压力，现有方法常独立预测单一层级，导致医院、区域、国家预测不连贯。研究者提出HierSTT，一个基于Transformer的层次化框架，在单一端到端模型中联合预测医院、区域和国家三级需求。该模型使用时序融合Transformer捕捉国家级动态，并通过时空Transformer编码器-解码器模块基于高层预测建模区域和医院需求。在覆盖葡萄牙81家医院、5个区域卫生管理部门的数据集上，HierSTT相比最佳非层次化深度学习基线将平均WAPE降低32%，并优于所有经典层次协调方法。

论文 HierSTT Transformer 急诊预测

推荐理由：如果你关注医疗预测或时间序列，这篇论文的HierSTT模型用一个框架搞定多层级预测，WAPE降了32%，还开源了数据集和代码。

原文

7月27日

12:13

官方账号arXiv cs.AI@Alex Koziell-Pipe, Jasmine Brewer, Jem Guhit, Marwa H. Farag, Kripa Panchagnula, Gabriel Laude, Fabian Finger, Carlo Gaggioli, Ludmila Szulakowska, Oliver J. Backhouse, Christos Papalitsas, Jason G. Mustakis, Thomas Soini, David Munoz Ramo, Stephen Clark, Elica Kyoseva, Enrico Rinaldi

ADAPT-GQE是一个生成式AI框架，利用ADAPT-VQE生成的参考电路训练模型，再通过强化学习提升电路生成精度。在抗抑郁药分子imipramine上测试，电路生成时间比ADAPT-VQE减少一个数量级，准确度相当或更优。生成的电路已在Quantinuum Helios-1量子硬件上成功执行，这是AI生成量子化学电路在先进量子硬件上的里程碑。

AI模型 ADAPT-GQE ADAPT-VQE 量子化学

推荐理由：这个框架能自动设计量子化学电路，比传统ADAPT-VQE快10倍，还在真实量子计算机上跑了实验。搞量子计算化学的可以看看。

原文

11:58