#Transformer架构

共 3 条 · 7 天 0 条 · 30 天 0 条

GPT-2 1 GPT-6 1 LLaMA-3.1 1 Qwen3 1 循环Transformer 1 微分几何 1 阿里巴巴 1

信息流里打上「Transformer架构」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月6日

模型中美对照多源确认00:31

GPT-6带火循环Transformer，阿里早已布局

GPT-6用的新架构，阿里两年前就发过论文了，看看国内大厂的技术前瞻性。

#GPT-6 #循环Transformer #阿里巴巴 #Transformer架构

量子位@一水11 个信源在谈原文

7月21日

论文精选09:47

The Geometry of Semantic Space：Transformer架构的连续几何框架

用微分几何重新理解Transformer，给出了注意力机制是薛定谔桥、SGD是违反细致平衡的伊藤扩散等新视角，并有大模型实测验证。

#Transformer架构 #微分几何 #Qwen3 #LLaMA-3.1

arXiv cs.LG@Zhihua Liang原文

5月26日

论文精选12:20

LoopMDM：循环层提升掩码扩散语言模型效率与性能

做扩散语言模型或高效 Transformer 架构的开发者值得关注——LoopMDM 用简单循环层技巧同时省训练算力、提推理性能，直接可复现。

#掩码扩散模型 #Transformer架构 #训练效率 #推理缩放

arXiv cs.LG@Sanghyun Lee 等 6 人原文