预训练是人工智能领域中通过大规模数据集对模型进行初始训练的关键步骤，为后续任务特定微调奠定基础。2023年以来，预训练技术呈现出从算力分配到方法创新的多元化发展趋势。AI算力分配正从预训练阶段向后训练与推理阶段转移，反映了资源优化配置的行业趋势。SPEAR方法通过谱解耦MoE神经算子实现了面向大规模PDE预训练的新突破，展现了预训练技术在科学计算领域的应用潜力。Stanford AI Lab提出的Self-Play预训练方法实现了零真实数据也能训练语言模型的创新，挑战了传统预训练对大规模标注数据的依赖。
预训练近期进展
AI算力分配转向后训练与推理 - AI算力分配正从预训练阶段向后训练与推理阶段转移，反映了资源优化配置的行业趋势。
SPEAR：谱解耦 MoE 神经算子，面向大规模 PDE 预训练 - SPEAR方法通过谱解耦MoE神经算子实现了面向大规模PDE预训练的新突破，展现了预训练技术在科学计算领域的应用潜力。
Stanford AI Lab 提出 Self-Play 预训练：零真实数据也能训练语言模型 - Self-Play预训练方法实现了零真实数据也能训练语言模型的创新，挑战了传统预训练对大规模标注数据的依赖。
国内AI模型架构创新领先但数据积累落后 - 国内AI模型架构创新领先但数据积累落后，预训练数据资源的不足成为制约模型性能的关键因素。
当前焦点与观察点
预训练技术正朝着更高效、更专业化方向发展。Probe-Space预训练方法提升了零阶训练效率，而MMAP方法则为阿尔茨海默病纵向预测提供了多模态缺失感知预训练方案。研究显示，注意力门控在预训练过程中能带来弃权与噪声过滤，但其收益随模型规模此消彼长。BrainWideBench基于139只小鼠多脑区记录建立了跨动物迁移基准，为预训练评估提供了新标准。预训练技术正从通用向领域特定转变，同时面临着数据质量、算力效率和多模态融合等多重挑战。