Signed-Permutation Coordinate Transport for RMSNorm Transformers
这篇论文说清了为什么RMSNorm模型用排列对齐不够，必须考虑符号。实验数据很具体，SAE重建、情感引导效果对比鲜明，对做模型对齐和可解释性的人很有用。
#TinyLlama
共 2 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「TinyLlama」标签的资讯、产品与论文，按刊登时间排，新的在上。
7月1日
6月18日
这篇论文说清了为什么RMSNorm模型用排列对齐不够，必须考虑符号。实验数据很具体，SAE重建、情感引导效果对比鲜明，对做模型对齐和可解释性的人很有用。