10:56
官方账号arXiv cs.LG@John Sweeney
精选
推荐理由：这篇论文说清了为什么RMSNorm模型用排列对齐不够，必须考虑符号。实验数据很具体，SAE重建、情感引导效果对比鲜明，对做模型对齐和可解释性的人很有用。
RMSNorm
共 1 条相关 AI 资讯
7月1日
10:56
该论文证明RMSNorm模型的残差流规范具有符号排列规范B_d，而LayerNorm只有排列规范S_d。使用符号边缘化匈牙利匹配解决了排列对齐的结构性缺陷。在TinyLlama上，B_d对齐的SAE重建误差NMSE为0.004，而S_d为1.08。Qwen情感引导效果在B_d下保留95.8%，S_d下仅17.2%。恢复的坐标可沿训练轨迹传输，1500步时跨运行坐标恢复率达91.1%，远超端点匹配的60.3%。