#预训练

这篇论文发现，把文档当图片直接预训练，比先转成纯文本再训练效果更好，感兴趣的可以看看实验细节。

这篇论文用无标签数据先学移动再学做事，SIMPLER上提升10%，真实机器人也抗干扰，思路很实用。

这个做法用合成数据解决工业场景真实数据稀缺的问题，数亿级数据集全靠模型生成，思路挺新颖。

AI Will@FinanceYF5原文

这篇论文把Transformer的预测和记忆分开了，实验证明效果更好，下游任务平均提了2-3个点，搞LLM架构的值得细看。

听听OpenAI首席研究官Mark Chen聊预训练为啥没过时、评估危机怎么破，还有未来的研究路线图，很实在的讨论。

Latent.Space@latentspacepod11 个信源在谈原文

这篇论文发现了模型训练中规则自然遗忘的规律，并且能预测和控制——破坏容易恢复难，对理解LLM行为很有启发。

发现一个几乎零成本的训练技巧：缩小初始化尺度能大幅提升大模型推理能力。

Muon在大模型上加速效果缩水？Hyperball通过固定矩阵范数，让Muon在1.2B Qwen3上又快了20-30%，还更好调参。

多机器人协作的扩展性难题被VLA模型破解了——做机器人集群部署的团队可以直接参考CHORUS的零通信方案，省去复杂的对齐和通信模块。

多轮训练效率瓶颈是当前大模型预训练的痛点，q0用群体模型替代单模型精炼，做预训练或数据效率优化的研究者可以直接复现并应用到自己的训练流程中。

Karpathy 的加入可能改变 Claude 的预训练范式，关注大模型训练的开发者值得了解递归训练的具体思路。