#Transformer

这篇论文提出了Transformer注意力头在表格数据中的重要性评分方法，能帮你优化模型结构并提高效率。

TANGO模型在自然和形式语言建模中表现出色，计算效率高，值得关注。与WANGO相比，在序列长度线性复杂度下表现更优。

Next-Scale Transformer模型在人脸合成方面表现出色，与现有模型结合，生成更精确的3D人脸模型，值得关注。

Tydra模型在保持预测性能的同时大幅降低推理时间，比Hydra模型更高效。

这篇论文用受控实验证明，模型输出能藏住内部状态的证据，128对测试全过，对理解AI可解释性挺有意思。

这篇论文提出L2T框架，用Transformer做MIMO检测的转移策略，硬输出和软输出都覆盖，挺有新意。

论文提出了RecipeNet，专门处理材料合成、制药配方这类结构化步骤数据，比通用表格模型更能捕捉层级和顺序信息。

有人发推吐槽 DSH 和 Transformer 都是技术自嗨，虽然只有 1152 次浏览，但观点值得围观。

orange.ai@oran_ge原文

放疗圈看过来，这个模型把左前降支动脉分割做得更准，比nnU-Net和Swin UNETR都强，还用了LoRA省显存，值得试试。

作者盘点了11条2026年AI趋势，说3/4已经应验，断言Agent接管产品、toA爆发、Transformer到头，想抓风口的可以看看。

Yangyi@Yangyixxxx8 个信源在谈原文

GEM-3让你用一套权重随时切换1到24小时预报时间步，跑得稳还实用，比固定时间步的模型灵活多了。

RepairFormer用Transformer自动修复损坏的JSON等文件，保留内容，修复率88%，速度比现有方法快5倍。

这篇论文证明了Adam没有梯度下降的低秩隐式偏置，在Transformer里能让等价初始化差56%，不是调参小事。

一篇用百万参数模型研究思维链的论文，提出Protoreasoning，能有效提升分布外泛化，比大模型实验更好分析。

量子QNC^0能采的分布，扩散LM加CoT也采不出；Transformer要宽度n^Ω(1)才够。

这篇论文把Transformer说成“用概念变换概念”，提出动态权重来自输入的新解释，还猜测人脑可能也这么处理语言。

谷歌Titans团队的新方法用记忆缓存把RNN长上下文召回从21提到32，算力还远低于Transformer。

Gary Marcus@GaryMarcus原文

只给值路由多加一条独立通道，120M/343M模型10组对照全胜，困惑度降2-3%。做Transformer的可以看看。

做 AI 的人都在聊 Transformer 和扩散模型，这条推文一句话点出两者的现实差距，值得一看。

Suhail@Suhail原文

Gary说最大突破是模型加工具和代码解释器，像Claude Code；另有人说9年没真突破。

Gary Marcus@GaryMarcus原文

这篇论文把Transformer的上下文管理建模成带Pop的栈，证明两个可弹出的通道就够模拟一切可计算函数，比只看参数规模有意思多了。

这篇论文用AI判断两个物理系统是否对偶，在约10节点quiver上比传统算法快，还配了“quiver版谷歌地图”提高准度。

图学习想换新思路可以看这个：TopoFormer用扫描把拓扑结构变成token，喂给Transformer就行，比传统持久同调快还准。

如果你关注医疗预测或时间序列，这篇论文的HierSTT模型用一个框架搞定多层级预测，WAPE降了32%，还开源了数据集和代码。

这个框架能自动设计量子化学电路，比传统ADAPT-VQE快10倍，还在真实量子计算机上跑了实验。搞量子计算化学的可以看看。

PRIMS把物理规则直接写进模型结构，用0.46M参数在5种流体识别上拿到98.92% F1，比大模型小14倍还更抗干扰，适合微流控场景。

提到AI研究自动化方向，和你想的可能不一样。

官方账号Logan Kilpatrick@OfficialLoganK原文

斯坦福团队搞了个新招：不用梯度下降，直接把事实写进Transformer的MLP里，论文被COLM 2026收了，想了解怎么不训练就灌知识的可以看看。

Stanford AI Lab@StanfordAILab原文

他们用多模态Transformer把纳米孔信号分类精度提升了10个百分点，42肽和20氨基酸两个数据集都表现优异，值得关注。

这篇论文把稀疏和低秩两种思路拧在一起，解决Transformer的长序列瓶颈。不用算完整的注意力矩阵，就能同时抓住局部和全局信息。