#GPT-2

MoFA研究显示注意力函数选择作为先验，在分布内被掩盖，分布外重新显现，影响模型行为。

做可解释性的朋友看过来：这篇用 GPT-2 的 IOI 实验说明现有电路验证方法基本只看正确样本，错误复现率低到 11.4%，方法上值得反思。

MALT优化器给Muon加了轻量对角预条件，在GPT-2上比Muon更快更好，内存几乎没增加，适合大模型预训练。

SWD用不到1%数据就能达到Transcoder的保真，GPT-2、Qwen2.5都能跑。

这篇论文发现OpenAI的GPT-2检测器对自闭症写作者有统计上显著的偏见——误判率虽低但差异存在。如果你关心AI公平性，值得看看。

这篇论文点出了一个关键问题：AI生成文本的优化可能走偏了，不只是工程进步，还牵扯价值观判断。适合想理解技术背后隐患的人。

这篇论文从GPT-2讲到对齐，批评优化文化把语言判断交给了损失函数，值得所有做AI的人反思。

这个新框架用C++从头写，训练GPT-2比PyTorch快3%且省内存22%，适合追求极致性能的开发者。

这篇论文把GPT-2用在轴承故障诊断上，只用10%的标签数据就比SOTA高了17个百分点，工业场景下很实用。

这篇论文用Python程序解释了注意力头怎么工作，还能直接用程序替换掉原始头，精度很高，想看模型内部机制的可以读。