TinyLlama 相关 AI 资讯 · AI 热点

7月1日

10:56

10:56

官方账号arXiv cs.LG@John Sweeney

精选

该论文证明RMSNorm模型的残差流规范具有符号排列规范B_d，而LayerNorm只有排列规范S_d。使用符号边缘化匈牙利匹配解决了排列对齐的结构性缺陷。在TinyLlama上，B_d对齐的SAE重建误差NMSE为0.004，而S_d为1.08。Qwen情感引导效果在B_d下保留95.8%，S_d下仅17.2%。恢复的坐标可沿训练轨迹传输，1500步时跨运行坐标恢复率达91.1%，远超端点匹配的60.3%。

论文 RMSNorm TinyLlama Qwen 坐标传输对齐

推荐理由：这篇论文说清了为什么RMSNorm模型用排列对齐不够，必须考虑符号。实验数据很具体，SAE重建、情感引导效果对比鲜明，对做模型对齐和可解释性的人很有用。

6月18日

10:57

10:57

官方账号arXiv cs.LG@Amiri Hayes, Belinda Li, Jacob Andreas

研究者提出用程序合成方法反向工程Transformer注意力头。他们先计算注意力矩阵，再让预训练语言模型生成Python程序来重现注意力模式。在GPT-2、TinyLlama-1.1B和Llama-3B上，不到1000个程序实现了平均IoU>75%。替换25%的注意力头仅导致16%的困惑度增加，并在下游问答基准上保持性能。

论文 GPT-2 TinyLlama Llama-3B 可解释性注意力机制

推荐理由：这篇论文用Python程序解释了注意力头怎么工作，还能直接用程序替换掉原始头，精度很高，想看模型内部机制的可以读。