#预训练

一篇解决 PDE 基础模型知识干扰和 MoE 专家冗余的论文，专家数量砍一半精度不掉，做科学计算的可以看看。

斯坦福团队发现AI文本训练模型有临界点，超过反而有害，还发布了新数据集。

新方法1.5-SPSA让零阶训练比传统方法快1000倍，OPT-13B只需70步就超越MeZO 10万步效果。

这篇论文做了个挺实用的模型 MMAP，专门解决医疗数据缺图或缺表格的情况，在阿尔茨海默病转化预测上跑赢了基线。

把 139 只小鼠 276 个脑区的神经记录做成基准，专测预训练模型跨动物迁移，做神经+AI 的能直接拿来跑。

论文揭示了训练流程中检查点选择的关键问题，对大模型训练实践有重要指导意义。

Graph Machine 用边对象替代传统状态，在 Qwen3-0.6B 上预训练时，稀疏层仅需少量检索就能保持性能。

了解国产模型如何通过扎实预训练和后训练达到高水平，以及蒸馏在数据收集中的作用。

向阳乔木@vista8原文

LAION-BVD发布了，这是一个包含1.3亿小时视频的开放数据集，可用于多模态预训练，对于研究者和开发者来说是个宝库。和其它视频数据集相比，它提供了更多的视频和更长的时长，对于提升模型性能大有裨益。

GPT - 2团队做了小规模单例反事实实验，测试示例学习后效果，和其他条件对比结果很有意思。

这篇论文揭示了表格基础模型如何通过单表格预训练实现强迁移，颠覆了传统大规模数据训练的认知。

Gemini 4 终于有信了，说是最狠的一次预训练，虽然还没细节，先围观。

官方账号Logan Kilpatrick@OfficialLoganK原文

想搞懂模型知识边界怎么控制？这篇论文用小学课程语料训练了个5B模型，还公开了数据和模型，适合研究预训练数据影响的人看。

这篇把对齐提前到了预训练第一步，3B 模型跑 500B token，越狱更难破，值得搞 AI 安全的人看一眼。

这篇论文提出MMCS，用50K样本就干翻别人600K的效果，做多模态预训练的可以看看这个新思路。

MALT优化器给Muon加了轻量对角预条件，在GPT-2上比Muon更快更好，内存几乎没增加，适合大模型预训练。

这篇论文把多模态预训练的内部机制拆开了，告诉你模态之间怎么互相影响、什么时候协同、什么时候拖后腿，还有省算力的训练配方，值得看看。

用形式推导预训练，能在语言任务上少花36B token达标，剪枝33%还不掉点。做预训练或模型压缩的可以看看。

如果你做强化学习微调，这篇论文告诉你预训练Q函数可能没用，还给了更高效的IPE方法，实测效果更好。

这篇论文提出了DataOrchestra，能针对每个数据样本定制清洗流程，在多个模型和基准上都有提升，还节省算力。

谷歌官宣Gemini 4开练，号称最大规模训练，想看看它能做到多强吗？

官方账号Logan Kilpatrick@OfficialLoganK3 个信源在谈原文

这篇论文用象棋做实验，清晰展示了预训练对强化学习效果的预测关系，1B模型验证了规律，读起来很扎实。