Pythia

Pythia 是一个由 EleutherAI 开发的开源语言模型套件，旨在通过提供一系列大小、训练步数均不同的模型（从 70M 到 12B 参数）来促进可解释性研究。近期，Pythia 作为基准模型被用于多项分析 LLM 内部机制的研究中。一项工作从共激活模式出发，发现了注意力头中的电路结构，并通过消融实验加以验证，揭示了模型内部的信息流路径（arXiv:2606.09607）。另一项研究将香农信息论应用于 LLM，提出噪声信道模型来解释模型容量与缩放定律的关系，Pythia 系列为其分析提供了跨规模的数据支持（arXiv:2605.23901）。此外，一项关于层等价性测试方法的工作指出，不同测试方式会得出截然不同的结论，并以 Qwen3-8B 和 Llama-3.1-8B 为例展示了方法敏感性这一现象对 Pythia 同样具有参考意义（arXiv:2305.16234）。当前焦点在于如何利用 Pythia 这类多尺度模型验证可解释性方法的可靠性，以及探究 LLM 内部表示的统一性。未来值得观察的是，这些方法能否推广到更大、更先进的闭源模型。