精选理由
这篇论文说清了为什么RMSNorm模型用排列对齐不够，必须考虑符号。实验数据很具体，SAE重建、情感引导效果对比鲜明，对做模型对齐和可解释性的人很有用。
该论文证明RMSNorm模型的残差流规范具有符号排列规范B_d，而LayerNorm只有排列规范S_d。使用符号边缘化匈牙利匹配解决了排列对齐的结构性缺陷。在TinyLlama上，B_d对齐的SAE重建误差NMSE为0.004，而S_d为1.08。Qwen情感引导效果在B_d下保留95.8%，S_d下仅17.2%。恢复的坐标可沿训练轨迹传输，1500步时跨运行坐标恢复率达91.1%，远超端点匹配的60.3%。
AI 翻译 · 中文
该论文证明RMSNorm模型的残差流规范具有符号排列规范B_d，而LayerNorm只有排列规范S_d。使用符号边缘化匈牙利匹配解决了排列对齐的结构性缺陷。在TinyLlama上，B_d对齐的SAE重建误差NMSE为0.004，而S_d为1.08。Qwen情感引导效果在B_d下保留95.8%，S_d下仅17.2%。恢复的坐标可沿训练轨迹传输，1500步时跨运行坐标恢复率达91.1%，远超端点匹配的60.3%。
Modern LLM workflows move coordinate-indexed objects across checkpoints: steering vectors, sparse autoencoders, top-$k$ neuron sets, attribution lists, and merge alignments. This is only well posed after fixing the model…