后训练(Post-training)指大语言模型在预训练完成之后的一系列优化环节,包括监督微调、强化学习(RLHF/RLVR)、偏好对齐等,是决定模型实际能力和产品化程度的关键阶段。随着预训练带来的性能提升边际递减,后训练正在成为模型迭代的主要战场,也是算力和研究资源新的集中方向。
后训练近期进展
当前焦点与观察点
后训练的争议与讨论集中在三个方面。其一是算力分配:随着预训练规模扩张放缓,后训练与推理争夺算力成为行业共识,但具体配比和投入效率仍有分歧。其二是自动化程度:SRO 等工作显示后训练配方本身可以被 AI 自动优化,Epoch AI 则进一步推出 InnovationEval 基准,测试 AI 能否做出后训练创新,试图量化 AI 自主改进训练流程的能力边界。
其三是工程与生态层面。KerasHub+JAX+TPU 的组合被用于 LLM 后训练实验,说明开源工具链正在向非英伟达硬件延伸;个人研究者如 PewDiePie 分享环境任务踩坑经验,也反映后训练实践的参与门槛在降低但坑依然多。同时,AI 数据与后训练领域 91 位受认可从业者名单出炉,显示这一细分领域的人才与专业分工正在成形。
综合来看,后训练已从预训练的附属环节演变为模型能力竞争的主阵地,配方自动化、算力再分配和专用模型是未来数月最值得跟踪的三个变量。