Transformers 是一种基于自注意力机制的深度学习架构，自 2017 年提出以来已成为大语言模型、视觉、语音及多模态模型的主流基础结构，当前几乎所有前沿 AI 系统都建立在它或其变体之上。围绕 Transformers 的研究和工程实践，近期集中在推理效率、专用硬件适配以及跨模态统一建模三个方向。
Transformers 近期进展
当前焦点与观察点
从上述动态看，Transformers 领域的争议与关注点主要有三。其一是效率：随着模型规模扩大，FP8/INT4 等低精度方案与专用硬件后端成为降低推理成本的关键路径，PyTorch 生态对 TPU 和 Trainium 的原生支持或改变训练基础设施格局。其二是规模与能力的权衡：Unlimited-OCR-2 用 3B 参数处理整本书级文档，说明并非所有任务都需要超大模型，小而专的 Transformer 模型正在垂直场景中找到位置。其三是能力边界：Hugging Face 联合创始人 Thom Wolf 曾公开讨论 LLM 在心智理论方面的短板与"知识的诅咒"问题，提示架构层面的统一并未自动带来认知能力的全面提升。此外，一项覆盖 5398 个仓库的研究发现开发者实际只使用 LLM 推理配置项的一小部分，反映工程实践与框架能力之间仍有落差。总体而言，Transformers 仍是 AI 的基础架构，但竞争重心已从模型结构创新转向效率优化、硬件适配与实际部署。