精选理由
这篇论文揭示了小型语言模型中干扰权重的作用，对理解模型内部机制有重要意义，值得一读。
通过测量干扰权重对模型输出和损失的影响，我们在1层Transformer中识别出干扰权重。该研究有助于理解模型内部机制。
论文精选
识别小型语言模型中的干扰权重
Characterizing interference weights in a tiny language model We identify interference weights in a 1-layer transformer by measuring their effect on model outputs and loss.