Transformers

§ 01综述

Transformers 自 2017 年提出以来，已成为深度学习的基础架构，广泛应用于 NLP 和 CV 等领域。当前研究不仅关注模型性能提升，也开始探索理论统一与工程落地。

近期主要进展：

视觉模型的理论瓶颈：形式化绑定问题。ViTs 在识别物体时如何判断不同特征属于同一实体？新研究通过形式化分析指出，当前 ViTs 缺乏绑定机制，导致错误关联，并提出解决方案。（形式化绑定问题：ViT模型如何知道特征属于同一物体？）

统一注意力与扩散的范畴框架。Kan Extension Transformers 利用范畴论将自注意力、扩散过程、自条件化统一到一个数学框架下，为理解 Transformer 的深层原理和设计新架构提供了理论基础。（Kan Extension Transformers：统一注意力、扩散与自条件化的范畴框架）

PaddleOCR 3.5 接入 Hugging Face，支持 Transformers 推理。此更新使得 OCR 和文档解析模型可直接使用 Transformers 后端进行推理，降低了开发成本，提升了部署灵活性。（PaddleOCR 3.5 发布：支持 Transformers 后端，OCR 与文档解析更灵活）

Andrew Ng 推出新课程《Transformers in Practice》。该课程与 AMD 合作，聚焦 Transformers 的实际应用与部署，帮助开发者掌握从理论到落地的关键技能。

Stateful Transformers 实现流式推理加速。通过维护隐状态避免重复计算，在流式场景下实现 5.9 倍加速，这对实时应用（如对话系统、直播字幕）具有重要意义。（Stateful Transformers 实现流式推理 5.9 倍加速）

当前焦点集中在理论统一（如绑架问题、范畴框架）与实用优化（推理加速、课程教育）两大方向。未来观察点包括：更高效的结构设计（如 Mamba 能否取代 Transformer）、更广泛的应用覆盖（从 NLP、CV 到多模态），以及基础理论突破如何转化为实际性能提升。

§ 02相关报道07 条在档

§ 03邻近话题