Softmax

general · First seen 2026-05-22 · Last seen 2026-11-18 · 90 mentions

Overview

Softmax 是机器学习中最基础的归一化函数,它把一组任意实数映射为和为 1 的概率分布;在 Transformer 的注意力机制和 MoE(混合专家)模型的路由中,Softmax 决定了权重如何分配,其数值稳定性与精度直接影响大模型的训练质量和推理成本。

Softmax 相关近期进展

  • 研究解析 MoE 模型中 Softmax 路由坍缩与恢复机制:MoE 模型中门控层对 Softmax 输出的依赖性很强,路由坍缩(多数 token 集中到少数专家)是常见训练故障。这项工作分析了坍缩的发生与自发恢复机制,为路由设计的稳定性提供了理论解释。
  • Zyphra 发布 ZYFA:提升 AMD MI355X 上 FP8 FlashAttention 速度与精度:FlashAttention 的核心是在线 Softmax 技巧,这篇工作针对 FP8 低精度场景优化其速度与数值精度,说明 Softmax 的实现方式仍是硬件效率优化的重要环节。
  • Conic Certification of Transformer Attention:注意力认证的锥规划理论:利用 Softmax 的凸性等数学性质,用锥规划方法对注意力输出进行形式化认证,属于对 Softmax 性质做理论层面的深挖。
  • 将嵌入从球面改到单纯形,CLIP 模态间隙最高缩小 99%:单纯形与 Softmax 输出空间同构,这项工作把嵌入从球面移到单纯形上后,CLIP 的模态间隙最高缩小 99%,侧面反映了对 Softmax 几何结构的重新利用。
  • 当前焦点与观察点

    围绕 Softmax 的讨论目前集中在三方面:一是低精度(FP8 等)下的数值稳定性,涉及量化与注意力加速的精度权衡;二是 MoE 路由中由 Softmax 引发的负载不均衡与坍缩问题,关系到训练大规模 MoE 模型(如 Hugging Face 在其 MoE 训练手册中投入的 80 万 GPU 小时)的实际成本;三是理论分析工具,包括对注意力的形式化认证。替代结构(如单纯形嵌入、线性注意力)也在被持续探索,但标准 Softmax 仍是主流模型的主导选择。

    Coverage

    10 on file