Transformer 相关 AI 资讯

5月26日

23:22

berryxia@berryxia

83°

CMU和UMD的研究团队发现，Transformer大模型在处理超长任务时注意力机制会因上下文长度二次方爆炸而性能下降。他们提出“sleep-like consolidation”机制，让模型在“睡眠”期间将最近上下文转化为持久fast weights并清空KV cache，从而将短期记忆转为长期记忆。实验表明，增加睡眠深度或时长能显著提升睡眠后的推理能力。该方案完全开源，颠覆了传统靠堆显存扩展上下文的做法。

论文 Transformer 长上下文记忆固化

推荐理由：这个研究用“睡觉”这种生物启发机制解决了长上下文推理的显存和速度瓶颈，做长序列AI应用的开发者可以直接参考开源方案，比堆显存更聪明。

原文

12:38

官方一手arXiv: DeepSeek@Spandan Pratyush

精选

该论文提出一种基于语法角色（词性标注）的稀疏注意力机制，通过动态生成注意力掩码，只允许语法相关的词对进行交互，从而降低Transformer自注意力的计算复杂度。实验在SST-2情感分类任务上使用DistilBERT架构，硬掩码和软掩码策略分别达到0.8200和0.8165的准确率，与全注意力的0.8200持平，但显著减少了理论计算开销。该方法为构建更高效、可解释且融入语言学知识的Transformer模型提供了新路径。

论文稀疏注意力 Transformer 语法引导

推荐理由：做NLP模型压缩或可解释性研究的开发者，可以关注这种用语法知识替代暴力稀疏化的思路——既省算力又不掉点，值得在长文本任务上试试。

原文

11:44

官方账号arXiv cs.AI@Sangyun Lee, Sean McLeish, Tom Goldstein, Giulia Fanti

精选

论文提出一种类似睡眠的记忆巩固机制，让 Transformer 模型在长上下文任务中表现更好。模型在推理过程中定期将近期上下文转换为持久化的快速权重，并清除键值缓存，类似生物体的睡眠过程。在睡眠阶段，模型对积累的上下文进行多次离线循环处理，通过局部学习规则更新状态空间模型（SSM）块中的快速权重。在合成任务（如元胞自动机、多跳图检索）和数学推理任务上，该方法显著优于普通 Transformer 和 SSM-注意力混合模型。增加睡眠时长 N 能持续提升性能，尤其在需要深层推理的样本上效果最明显。

论文 Transformer 长上下文记忆巩固

事件专题

推荐理由：这项研究给长上下文推理带来了新思路——用类似睡眠的离线巩固机制解决注意力瓶颈，做长链推理或复杂数学问题的开发者值得关注，尤其适合处理超长上下文的场景。

原文

5月25日

11:22

官方账号arXiv cs.LG@Hongwu Peng, Ohiremen Dibua, Yuanjun Xiong, Yifan Gong, Jianming Zhang, Yan Kang

精选

研究者提出Complete-muE框架，解决了从密集FFN到混合专家（MoE）模型架构的超参数迁移问题。现有方法如μP和SDE无法处理MoE中专家数量变化带来的架构和每个专家token数同时改变的问题。Complete-muE通过双桥系统实现迁移：桥I利用激活宽度μP和归一化路由器尺度映射密集FFN到密集MoE；桥II通过激活专家缩放映射密集MoE到稀疏MoE，并处理一阶SDE学习率/权重衰减校正。实验表明，在语言模型和扩散模型预训练中，该框架能使超参数在多种MoE配置下保持稳定，实现“一次调参，迁移所有”的效果，显著加速MoE模型收敛。

论文 MoE模型超参数迁移缩放法则

推荐理由：做大规模MoE模型训练的团队终于有了可靠的超参数迁移方案——不用为每个专家配置重新调参，直接复用密集模型的超参数即可，建议做预训练优化的点开看看。

原文

5月21日

10:22

官方账号arXiv cs.LG@Omar Coser, Loredana Zollo, Paolo Soda, Antonio Orvieto

精选

Amos等人(2024)发现，Transformer模型在序列分类任务中，先通过掩码标记预测目标进行自预训练(SPT)，无需外部数据或增强，即可显著提升准确率。本研究复现并系统消融了该发现，指出瓶颈不在于深度或泛化，而在于标签监督从随机初始化学习有用查询-键注意力模式的能力。通过最小化设置，识别出学习邻近交互——将绝对位置编码转化为邻近偏置注意力分数——是SPT改进的关键来源。在简化理论框架中，证明标签监督对某些注意力分数方向局部不可见，而掩码重建可检测这些方向。

论文自预训练 Transformer 序列分类

推荐理由：这篇论文揭示了自预训练提升Transformer序列分类的核心机制——学习邻近交互注意力模式，做序列建模或注意力机制研究的开发者值得深入理解，尤其对改进长序列分类有启发。

原文

10:22

官方账号arXiv cs.LG@Shinnosuke Taksuka, Hideo Mukai

精选

该研究提出 Musical Attention 机制，通过将小节号、调号、拍号和速度等元信息融入注意力计算，解决 Transformer 生成音乐时常见的重复和音符冗余问题。每个音符被表示为音高、小节号、起始时间、时长、力度及三个元信息共八个特征，注意力机制据此调整相关性权重。实验表明，该方法在音乐连贯性、多样性和整体质量上优于 Full Attention 和 Strided Attention，显著减少重复并增强和声一致性。这项工作是 AI 音乐生成领域的重要进展，有助于生成更自然、富有表现力的旋律。

论文音乐生成 Transformer 注意力机制

推荐理由：做 AI 音乐生成或音频研究的团队可以关注——这个机制直接解决了 Transformer 生成音乐时“重复啰嗦”的痛点，用元信息让旋律更自然，值得在自家模型上试试。

原文

10:22

官方账号arXiv cs.LG@Tom Jacobs, Rohan Jain, Rebekka Burkholz

精选

HORST是一种新型优化器，通过组合自适应优化器的L∞稳定性和L1稀疏偏置，解决了稀疏Transformer训练中稳定性和稀疏性难以兼得的问题。它利用非交换算子组合优化几何，基于双曲镜像映射实现鲁棒稀疏训练。实验表明，HORST在视觉和语言任务的Transformer稀疏训练中，在所有稀疏度水平上均显著优于AdamW基线，尤其在高稀疏度下提升巨大。这项工作为高效稀疏模型训练提供了新思路。

论文稀疏训练优化器 Transformer

推荐理由：做稀疏模型训练或Transformer优化的研究者，HORST直接解决了AdamW在高稀疏度下效果差的问题，值得在实验中尝试替换优化器。

原文

09:46

官方账号arXiv cs.AI@Paul Lintilhac, Sair Shaikh

精选

该研究从布尔函数的傅里叶谱角度分析Transformer的泛化行为，提出稀疏且集中在低阶分量的频谱能构造低锐度（low-sharpness）的平坦最小值，从而获得非平凡的泛化界。与以往基于Rademacher复杂度的方法不同，作者利用PAC-Bayes理论证明了只要目标函数的稀疏度不超过上下文长度，就能实现良好泛化。实验和机械可解释性研究支持了理论构造在真实Transformer中的可行性。这项工作为理解Transformer为何能高效泛化提供了新的理论工具。

论文 Transformer 泛化理论 PAC-Bayes

推荐理由：理论研究者终于有了一个更精确的工具来刻画Transformer泛化——傅里叶谱视角比Rademacher复杂度更贴近实际训练行为，做深度学习理论或可解释性的同学值得细读。

原文

5月20日

11:17

官方账号arXiv cs.LG@Zhen Xiong, Shang-Ling Hsu, Cyrus Shahabi

精选

TrajTok 是一种新型轨迹编码器，通过自适应多分辨率六边形网格分词和掩码标记预训练，从原始GPS轨迹中学习可迁移的轨迹表征。它解决了传统网格分词中细粒度导致稀疏、粗粒度混淆运动模式的问题。TrajTok 使用分解式Transformer编码器，分别处理几何和运动学特征，并通过交叉注意力融合。在Porto数据集上，冻结的TrajTok编码器配合轻量任务适配器，在轨迹相似性搜索、分类、预计到达时间等任务上超越多个专用方法。这表明多分辨率空间分词与掩码预训练是构建通用轨迹基础模型的有前景方向。

论文轨迹表征空间分词 Transformer

推荐理由：做轨迹分析或时空数据挖掘的团队，TrajTok 提供了一种无需为每个任务单独训练模型的通用方案，值得关注其预训练权重和代码开源。

原文

5月19日

14:43

官方账号arXiv cs.LG@Miguel Farinha, Ronald Clark

精选

PIXLRelight 提出了一种前馈式单图像重光照方法，通过共享的内在条件（反照率、漫反射阴影和非漫反射残差）桥接物理渲染与学习图像合成。训练时从多光照照片分解出条件，推理时从用户指定 PBR 光源下的粗 3D 重建渲染中计算相同条件，再由基于 Transformer 的神经渲染器应用目标光照。该方法支持任意 PBR 风格的光照控制，重光照质量达到最先进水平，且每张图像处理时间不到 0.1 秒。代码和模型已开源。

论文重光照物理渲染内在条件

推荐理由：做图像编辑、3D 重建或影视后期的人终于有了一个又快又可控的重光照工具——PIXLRelight 在 0.1 秒内实现物理级光照控制，比传统方法省去大量优化时间，建议直接试玩开源代码。

原文

11:13

官方账号arXiv cs.LG@Moritz Brösamle, Stephan Eckstein

精选

这篇论文研究了标准Transformer解码器在低精度（如软注意力、激活值和注意力权重取整）下的表达能力，发现其仍能模拟图灵机。作者通过构建硬注意力Transformer作为中间步骤，证明了软注意力Transformer在链式思维推理中具有强大的计算能力。研究还分析了摘要式链式思维范式，表明其能更高效地模拟图灵机，模型大小仅与空间边界对数相关而非时间边界。在数独推理任务上的实验验证了理论预测，与现有高精度结果相比更符合实际可学习性。代码已开源。

论文 Transformer 链式思维低精度

推荐理由：这篇论文解决了低精度Transformer在链式思维推理中表达能力的关键理论问题，对研究Transformer计算极限和推理效率的学者很有价值，建议关注其理论突破和实验验证。

原文

02:19

rohanpaul_ai@rohanpaul_ai

76°

HiDream 开源了 8B 参数的图像模型 HiDream-O1-Image，声称性能与 27B 的 Qwen-Image 等更大模型持平。该模型采用像素级统一 Transformer，无需 VAE 和文本编码器，直接在原始像素上端到端处理。它支持文生图、长文本渲染、指令编辑、主体个性化及故事板生成等多种任务。内置推理驱动的提示代理，能先理解用户意图再生成，在长文本渲染基准上接近 200B+ 模型的表现。这暗示传统扩散管线可能不再是唯一的主流路径。

AI模型 HiDream HiDream-O1-Image 图像生成

推荐理由：HiDream 用 8B 参数挑战了传统扩散架构的统治地位，做图像生成或研究的开发者值得关注——它可能改变你对模型效率与架构的认知。

原文

5月18日

17:12

官方账号AlphaSignal@AlphaSignalAI

76°

本周（5月11日至17日）GitHub 热门仓库包括 DeepSeek 4 Flash 本地推理引擎（支持 Metal 和 CUDA）、更稀疏快速的 Transformer 语言模型、利用 WiFi 信号实现空间感知的 RuView、面向法律工作流的 Claude 插件套件，以及 X 平台开源的 feed 排序算法。这些项目覆盖了模型推理、架构优化、环境感知、行业应用和算法透明化等多个方向，值得开发者关注。

AI产品 DeepSeek 本地推理 Transformer

推荐理由：做本地推理或模型优化的开发者可以看看 DeepSeek 4 Flash 和稀疏 Transformer 项目，前者直接提升 Metal/CUDA 部署效率，后者可能改变模型架构设计思路。法律从业者或对行业 AI 应用感兴趣的人，Claude 插件套件提供了现成的 workflow 参考。

原文

11:44

官方账号arXiv cs.AI@Yuqi Wu, Tianyu Hu, Wenzhao Zheng, Yuanhui Huang, Haowen Sun, Jie Zhou, Jiwen Lu

精选

IVGT提出了一种隐式视觉几何Transformer，能从无位姿的多视图图像中学习连续的神经场景表示。与现有方法预测显式点图不同，IVGT在规范坐标系中隐式建模连续几何，支持任意3D位置的连续空间查询。通过轻量解码器预测符号距离函数值和颜色，可直接提取连续表面几何，并渲染任意视角的RGB图、深度图和法线图。模型经多数据集联合训练，在网格/点云重建、新视角合成、深度/法线估计和相机位姿估计等任务上表现优异，展现了跨场景的泛化能力。

论文 3D重建神经场景表示隐式几何

推荐理由：做3D重建和神经渲染的团队终于有了一个无需相机位姿就能生成连续几何的通用方案——IVGT直接解决了显式点图冗余和几何不连续的老问题，做多视图重建的开发者值得一试。

原文

10:37

官方账号arXiv cs.LG@Fateme Golivand, Michael Skinner, Saurabh Mathur, Ameet Soni, Phillip Reeder, Kristian Kersting, Lakshmi Raman, Sriraam Natarajan

精选

该研究将儿科ECMO（体外膜肺氧合）中的临床决策建模为从轨迹中学习行动的问题，即模仿学习，且行动并非直接观测。研究采用基于Transformer的TabPFN模型，与XGBoost、MLP等传统基线在真实儿科ECMO数据上对比。结果显示TabPFN方法在预测临床行动上持续优于传统模型，可作为儿科ECMO决策支持的强基线。这项工作解决了儿科重症监护中数据稀缺和高度复杂性的挑战，为AI辅助临床决策提供了新思路。

论文模仿学习儿科ECMO 临床决策支持

推荐理由：儿科重症团队终于有了一个能处理数据稀缺和高复杂性的AI基线——TabPFN在ECMO决策建模上超越传统方法，做临床决策支持系统的研究者可以直接拿来对比或集成。

原文

00:40

官方账号AlphaSignal@AlphaSignalAI

精选

Transformer Explainer 是一个免费的开源互动工具，通过浏览器运行 GPT-2 模型，实时展示文本生成的全过程。它提供实时推理、可视化步骤图和温度滑块，让用户直观看到嵌入、注意力头和最终 token 排名。该工具使用 ONNX runtime 和 HuggingFace 在本地运行，前端基于 Svelte 和 D3 动画。对于想理解 Transformer 工作原理的开发者、学生和 AI 爱好者来说，这是一个极佳的学习资源。

AI产品 Transformer GPT-2 可视化工具

推荐理由：这个工具把 Transformer 的黑箱彻底透明化了，做 AI 学习或教学的人可以直接上手体验，比看论文直观一百倍。

原文

5月16日

23:29

Geek@geekbb

精选73°

xAI 用 Rust 重写了 X 平台的推荐算法并开源，项目名为 x-algo。系统将推荐流程分为两层：in-network 通过 Thunder 内存存储实时获取关注账号的帖子，out-of-network 通过 Phoenix 双塔模型检索全局语料。排序阶段使用基于 Grok-1 移植的 Transformer 模型，预测用户点赞、回复、转发、点击等多类行为概率，加权计算最终得分。这一开源举措让开发者可以直接研究 X 的推荐机制，并可能推动推荐系统的透明化。

AI产品推荐算法开源/仓库 Rust

事件专题

推荐理由：推荐系统从业者终于能直接看 X 的算法源码了，Rust 实现和 Grok-1 模型移植都是硬核干货，做推荐或社交产品的团队值得深入分析。

原文

5月15日

23:35

berryxia@berryxia

精选73°

Daily Dose of Data Science 通过视觉图解清晰对比了 Transformer 和 Mixture of Experts（MoE）的核心差异。MoE 将 Transformer 中的单个前馈网络拆分为多个小专家网络，推理时仅激活部分专家，虽参数更多但计算更快。模型通过 Router（多分类器）为每个 token 选择 top-K 专家，但训练中面临“专家过选”和“负载不均”两大问题。前者通过加噪声和屏蔽非 top-K logit 解决，后者通过设置专家容量上限并自动转交 token 来平衡。Mixtral 8x7B 和 Llama 4 是典型 MoE 模型。

AI模型 Transformer MoE 路由机制

推荐理由：想搞懂 MoE 为什么又快又强，这篇视觉解释把路由和负载均衡的坑讲透了，做模型训练或推理优化的开发者值得一看。

原文

11:19

官方账号arXiv cs.LG@Christopher Stith, Medha Barath, Vahid Balazadeh, Jesse C. Cresswell, Rahul G. Krishnan

精选

因果推断在多个学科中至关重要，但连续治疗设置（干预变量为连续值）的研究远少于二元治疗。本文提出首个针对连续治疗设置的因果基础模型，通过元学习在未见任务上预测因果效应，无需额外训练。模型设计了一种新的数据生成过程先验，生成丰富的因果训练语料，并训练Transformer利用上下文学习从观测数据重建个体治疗-响应曲线。该模型在个体治疗-响应曲线重建任务上达到最先进性能，超越了专门训练的因果模型。

论文因果推断基础模型连续治疗

推荐理由：连续治疗效应预测是因果推断的难点，做医疗、经济等领域的因果分析团队可以直接用这个基础模型零样本预测，省去大量模型训练成本。

原文

09:51

官方账号arXiv cs.AI@Lukas Schelenz, Shobha Rajanna, Denis Gosalci, Lucas Heublein, Jonas Pirkl, Jonathan Ott, Felix Ott, Christopher Mutschler, Tobias Feigl

精选

该论文研究了在信号处理管道中预测动态运动（如NBA球员轨迹）的挑战，传统方法如ARIMA和卡尔曼滤波难以处理非线性动态。机器学习方法如LSTM、GNN和Transformer提供了更高灵活性，但常未能显式捕捉时间依赖与上下文交互。实验表明，混合LSTM结合上下文信息在2秒预测范围内实现了最低最终位移误差1.51米，优于TCNN、GAT和Transformer，且所需数据和训练时间更少。研究强调没有单一架构在所有指标上最优，需根据任务选择模型。

论文轨迹预测 LSTM GNN

推荐理由：做运动轨迹预测或动态系统建模的团队，这篇论文对比了主流模型的实际表现，混合LSTM方案在效率和精度上都有亮点，值得参考。

原文

04:54

官方账号Andrew Ng@AndrewYNg

Andrew Ng 推出新课程《Transformers in Practice》，与 AMD 合作，由 Sharon Zhou 主讲。课程提供基于 Transformer 的 LLM 的实用视角，帮助理解其行为、诊断推理缓慢等问题，并做出更明智的部署决策。课程包含交互式可视化，而非纯视频，让学员动手探索概念。学员将掌握 LLM 幻觉原因、注意力机制、推理瓶颈诊断及 GPU 加速技术。

AI模型 Transformer LLM 课程

推荐理由：想真正理解 LLM 内部机制、诊断推理问题的开发者，这门课能帮你从黑盒用户变成懂原理的实践者，建议直接报名。

原文

5月14日

13:26

官方账号arXiv cs.LG@Nikolaos Tsalkitzis, Panagiotis P. Filntisis, Petros Maragos, Niki Efthymiou

精选

该研究开发了两种基于智能手表的框架用于日常精神病复发检测。第一种通过预测心脏动力学并标记预测与观测特征之间的偏差作为异常指标；第二种采用多任务学习融合睡眠、运动和心脏信号，学习时间感知嵌入并预测测量时机。两种框架均使用Transformer编码器，并通过多层感知机集成估计预测不确定性，输出每日异常分数。研究表明两种框架捕捉互补的生理信号，因此提出后期融合策略，将两者异常信号结合为统一决策分数。在e-Prevention Grand Challenge数据集上，融合模型比竞赛获胜基线相对提升8%。

论文精神病复发检测智能手表异常检测

推荐理由：精神科医生和数字健康研究者有了更可靠的复发预警工具——融合心脏、运动和睡眠多模态信号，比单一指标更准确。做可穿戴设备健康监测的团队可以直接参考其不确定性估计方法。

原文

5月13日

21:35

21:35官方一手Anthropic: Transformer Circuits（资讯）

Anthropic 研究团队提出 Sparse Crosscoders，一种从 Transformer 模型中提取跨层一致特征的新方法。该方法通过稀疏编码器同时分析多个层的激活，能够识别出在不同层甚至不同模型中共享的特征。这为理解模型内部表示、比较不同模型之间的差异提供了工具。初步实验表明，Crosscoders 能有效发现跨层特征，并用于模型差异分析。

论文可解释性稀疏编码跨层特征

事件专题

推荐理由：想理解大模型内部机制的研究者有了新工具——Sparse Crosscoders 能跨层甚至跨模型提取一致特征，做可解释性分析的建议点开看看。

原文

21:35

21:35官方一手Anthropic: Transformer Circuits（资讯）

Kamath 等人提出了一种新方法，通过特征交互来解释 Transformer 中的注意力模式，并将这些信息整合到归因图中。该方法能够揭示注意力头如何基于输入特征之间的相互作用来分配权重，而不仅仅是基于单个特征。这为理解 Transformer 内部机制提供了更细粒度的视角，有助于模型可解释性研究。论文展示了该方法在多个任务上的应用，证明了其有效性。

论文 Transformer 可解释性注意力机制

推荐理由：做 Transformer 可解释性研究的团队终于有了一个能深入分析注意力机制的工具，建议点开看看具体方法。

原文

21:35

21:35官方一手Anthropic: Transformer Circuits（资讯）

Anthropic 的 Transformer Circuits 团队发布了一篇新研究，通过构建一个简化的“玩具模型”来深入分析 Transformer 中的“干扰权重”现象。该研究揭示了注意力机制中不同信息流之间相互干扰的数学原理，解释了为什么模型在某些任务上会表现出反直觉的行为。关键发现是，干扰权重并非随机噪声，而是模型在有限容量下进行信息压缩和权衡的必然结果。这项工作为理解大语言模型的内部运作提供了新的理论视角，有助于未来设计更高效、更可控的模型架构。

论文 Transformer 可解释性干扰权重

事件专题

推荐理由：Anthropic 把 Transformer 内部的信息干扰机制拆解清楚了，做模型可解释性和架构优化的研究者可以直接参考这个玩具模型来验证自己的假设。

原文

21:35

21:35官方一手Anthropic: Transformer Circuits（资讯）

Anthropic 团队发布了 HeadVis，一个用于理解语言模型中注意力头行为的交互式可视化工具。该工具通过图形化展示注意力头的激活模式、注意力分布和功能角色，帮助研究人员和开发者更直观地分析模型内部机制。HeadVis 支持实时探索不同层和头的注意力模式，并能与模型输出关联，揭示特定头在生成过程中的作用。这一工具旨在降低模型可解释性的门槛，让更多人能够参与理解 Transformer 架构的内部运作。

论文注意力头可视化工具模型可解释性

推荐理由：做模型可解释性研究或想深入理解 Transformer 内部机制的开发者，HeadVis 提供了一个直观的交互式分析工具，值得一试。

原文

19:12

官方账号arXiv cs.AI@Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

精选

KV-Fold 是一种无需训练的长上下文推理协议，将键值（KV）缓存视为序列块上的左折叠累加器。模型在处理每个块时，基于累积的缓存进行条件处理，追加新生成的键和值，并将扩展后的缓存传递到下一步，重复这一单步更新过程。该方法在 Llama-3.1-8B 模型上的“大海捞针”基准测试中，在 152 次试验中实现了 100% 的精确匹配检索，覆盖 16K 到 128K 令牌的上下文和最多 511 层的链深度，且仅需单块 40GB GPU 内存。KV-Fold 的递归过程稳定，每步漂移短暂上升后饱和为平坦平台，对数值精度变化不敏感，跨块大小和模型家族表现一致。这项工作表明，冻结的预训练 Transformer 已经支持稳定的 KV 缓存递归形式，为无需架构更改或训练的长上下文推理提供了实用路径。

论文长上下文推理 KV缓存递归

推荐理由：KV-Fold 用简单的左折叠思路解决了长上下文推理的内存和精度痛点，做 LLM 推理优化或长文档处理的团队可以直接在现有模型上尝试，无需额外训练。

原文

17:06

17:06IT之家（博客/媒体）

亚马逊设备负责人帕诺斯·帕奈回应了关于公司是否推出新款智能手机的传闻，表示“未必”会做传统手机，但未完全否认。此前有消息称亚马逊正在开发代号“Transformer”的AI设备，核心围绕Alexa Plus AI助手。帕奈暗示未来设备形态可能不是传统智能手机，而是AI硬件或新型终端。亚马逊对再次涉足手机市场保持谨慎，部分源于Fire Phone的失败经历。

AI产品亚马逊 AI硬件 Alexa Plus

推荐理由：亚马逊的AI硬件动向直接关系到Alexa生态的下一步，做智能家居或AI硬件的开发者值得关注——Transformer项目可能定义新的设备形态。

原文

5月12日

19:11

官方一手arXiv: DeepSeek@Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia

论文研究了连续潜在上下文（continuous latent context）如何帮助Transformer模型实现在线决策与学习。研究者构造了恒定深度的Transformer，通过少量潜在上下文令牌存储算法状态，成功实现了加权多数算法和Q-learning两种在线决策过程。实验表明，使用多课程目标训练的小型GPT-2风格模型，在长合成在线预测序列上表现优于Qwen-3-14B和DeepSeek-V3等更大更复杂的LLM。该工作为Transformer在需要长期自适应交互的场景中提供了一种简单有效的持续状态机制。

论文在线学习 Transformer 潜在上下文

推荐理由：该工作通过理论构造和实验验证，说明了连续潜在上下文可作为Transformer在线学习的通用状态载体，为构建能长期自适应交互的轻量级AI系统提供了新思路。

原文

5月11日

22:18

官方账号NVIDIA AI@NVIDIAAI

70°

NVIDIA AI与SakanaAI Labs合作发表ICML 2026论文，提出专为现代NVIDIA GPU优化的稀疏Transformer内核与格式。核心技术包括TwELL稀疏打包和融合CUDA内核，在大规模训练和推理场景中实现20%以上的加速。论文与代码已公开。

论文稀疏计算 GPU优化 Transformer

推荐理由：该工作展示了硬件厂商与AI研究机构在底层算子优化上的高效协作，直接提升了大模型训练/推理效率，对部署大规模Transformer模型的企业而言有显著成本降低潜力。

原文