nanoGPT 是 Andrej Karpathy 开源的极简 GPT 训练代码库，以代码精简、易于改造著称，被广泛用于大模型教学、实验复现与训练效率研究。围绕它形成的 speedrun 社区，持续在固定硬件上压缩 GPT-2 类模型的训练时间，已成为观察训练技术演进的风向标。
nanoGPT 近期进展
当前焦点与观察点
讨论集中在三个方向：一是 flop 级稀疏优化与压缩型优化器能否从 speedrun 环境迁移到更大规模的正式训练；二是各纪录的硬件与数据设置不尽相同，结果可复现性存在争议；三是 nanoGPT 正被当作检验新训练想法的低成本试验场，其价值更多体现在公共基准地位，而非模型本身。