#Pythia

有人拿 SAE 逐个对比 Mamba 和 Pythia 的内部特征，99.98% 几乎一样，做可解释性的可以看看。

看这篇论文你就知道，不用微调也能高效提取临床症状。Pythia靠多智能体自己写提示词，敏感度0.76、特异度0.95，比传统词典和BERT都稳，还能本地部署。

这篇论文用Pythia模型实测了Transformer内部动力学的红外组织现象，发现记忆核呈标度无关性，挺硬核的理论研究。

这篇论文发现了模型训练中规则自然遗忘的规律，并且能预测和控制——破坏容易恢复难，对理解LLM行为很有启发。