Softmax 是机器学习中最基础的归一化函数,它把一组任意实数映射为和为 1 的概率分布;在 Transformer 的注意力机制和 MoE(混合专家)模型的路由中,Softmax 决定了权重如何分配,其数值稳定性与精度直接影响大模型的训练质量和推理成本。
Softmax 相关近期进展
当前焦点与观察点
围绕 Softmax 的讨论目前集中在三方面:一是低精度(FP8 等)下的数值稳定性,涉及量化与注意力加速的精度权衡;二是 MoE 路由中由 Softmax 引发的负载不均衡与坍缩问题,关系到训练大规模 MoE 模型(如 Hugging Face 在其 MoE 训练手册中投入的 80 万 GPU 小时)的实际成本;三是理论分析工具,包括对注意力的形式化认证。替代结构(如单纯形嵌入、线性注意力)也在被持续探索,但标准 Softmax 仍是主流模型的主导选择。