Papers05:56
Chinese contentLDM：用递归最小二乘做跨层记忆检索，困惑度优于 mHC 与 AttnResLDM 把跨层信息传递改成可检索的线性记忆，400M 与 1.5B 规模困惑度都低于 mHC 和 AttnRes。
#Transformer architecture
4 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "Transformer architecture", newest first.
Oct 15
Sep 6
Jul 21
Chinese contentThe Geometry of Semantic Space：Transformer架构的连续几何框架
用微分几何重新理解Transformer，给出了注意力机制是薛定谔桥、SGD是违反细致平衡的伊藤扩散等新视角，并有大模型实测验证。
May 26
Chinese contentLoopMDM：循环层提升掩码扩散语言模型效率与性能
做扩散语言模型或高效 Transformer 架构的开发者值得关注——LoopMDM 用简单循环层技巧同时省训练算力、提推理性能，直接可复现。