AITOP

预训练

共 46 条相关 AI 资讯
8月20日
10:20
10:20官方账号arXiv cs.LG@Zachary Speck, Asa Shepard
使用124M参数的GPT - 2模型在OpenWebText数据集上训练32个模型，每个模型在第200步时替换一行批次数据测试示例影响，发现示例暴露后50步预测更好但最终无差异，跨熵等基准测试也显示无显著差异。
论文GPT - 2OpenWebText预训练
推荐理由：GPT - 2团队做了小规模单例反事实实验，测试示例学习后效果，和其他条件对比结果很有意思。
原文
8月19日
11:39
11:39官方账号arXiv cs.LG@Nour Shaheen, Junwei Ma, Alex Labach, Frank Hutter, Valentin Thomas, Anthony L. Caterini
研究显示，表格基础模型(TFMs)通过单表格自监督预训练即可实现强迁移能力。表格的有用性取决于特征数量而非实例数量，且与下游任务无关。列级预处理能持续提升下游性能，而数据集级别的过滤或去重则无改善。研究认为TFMs的泛化主要基于检索机制，模型需学会识别相关示例并进行有效聚合。
论文表格基础模型自监督学习迁移学习
推荐理由：这篇论文揭示了表格基础模型如何通过单表格预训练实现强迁移，颠覆了传统大规模数据训练的认知。
原文
8月14日
18:32
11:33
11:33官方账号arXiv cs.LG@Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell, Wieland Brendel
研究者推出LITTLECURRICULUM，一个包含880亿token的预训练语料库，内容限定为美国小学五年级以下的知识范围。他们用该语料从头训练出5B参数的LittleLearner模型，模型语言能力足以进行开放式评测，但知识边界清晰对应课程大纲。实验表明，通过后训练和上下文学习注入新知识，LittleLearner能更好利用已有知识，但无法提升超出课程范围的能力。该研究为可控条件下研究模型知识获取提供了沙盒环境。
论文LittleLearnerLITTLECURRICULUM预训练
推荐理由：想搞懂模型知识边界怎么控制？这篇论文用小学课程语料训练了个5B模型，还公开了数据和模型，适合研究预训练数据影响的人看。
原文
10:38
10:38官方账号arXiv cs.LG@Julian Minder, Viktor Moskvoretskii, Raghav Singhal, Difan Jiao, Andy Arditi, Shaobo Cui, Yiderigun Borjigin, Kartik Bali, Stefan Krsteski, Harsh Raj, Huu Nguyen, Jannik Brinkmann, Ashton Anderson, Roland Aydin, Robert West
论文提出合成人格预训练（SPP），在预训练阶段就从第一个 token 开始植入目标助手人格，而非等预训练后叠加价值观。方法先用价值规范给预训练文档标注第一人称反思，再在标准文档和反思上以交叉熵损失训练，最后用对话数据做人格绑定。在 3B 参数、500B token 的预训练中，SPP 提高了宪法遵循和越狱鲁棒性，降低了分布外道德困境中的错位率，同时保持能力。实验显示，仅在预训练末期引入 SPP 效果明显更弱，且优势随预训练预算增加而增大。
论文SPP合成人格预训练对齐
推荐理由：这篇把对齐提前到了预训练第一步，3B 模型跑 500B token，越狱更难破，值得搞 AI 安全的人看一眼。
原文
8月13日
17:49
17:49官方账号arXiv cs.AI@Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi
精选
一篇arXiv论文提出信息丰裕悖论，认为训练上下文中相关信息过多会降低模型将其参数化编码的动机。预训练阶段扩大上下文窗口虽能提升语言建模、自然语言理解和closed-book MCQA，但只在中间最优值内有效，之后持续下降。监督微调时，更多任务相关上下文虽能提升带支持场景的表现，却削弱了测试时缺少或误导上下文时的鲁棒性。机制分析显示，长上下文将梯度压力从前馈网络转向注意力模块，导致推理时更依赖上下文。结论表明，追求无限上下文并非简单堆数据。
论文长上下文参数化知识上下文学习
推荐理由：这篇论文说长上下文训练反而会让模型记不住知识，上下文越长越依赖临时找资料。想调长上下文的人建议先看看。
原文
8月12日
18:26
18:26官方账号arXiv cs.LG@Changhao Xiang, Shangyu Xing, Zhen Wu, Jianbing Zhang, Xinyu Dai
MMCS是一种新的多模态预训练方法，通过将文本实体替换为对应视觉对象，提供显式的对象级监督。该方法仅用50K样本就能匹配或超越在600K图像-文本对上训练的模型，数据效率提升12倍。MMCS在773K样本的预训练数据集上验证了有效性，并持续提升不同规模模型的视觉定位和感知能力。该研究针对现有MLLMs中图像级对齐的指称歧义问题，提出了更精确的局部视觉-语言对齐方案。
论文MMCS多模态预训练
推荐理由：这篇论文提出MMCS，用50K样本就干翻别人600K的效果，做多模态预训练的可以看看这个新思路。
原文
01:45
8月11日
07:52
8月6日
11:43
10:11
10:11官方账号arXiv cs.LG@Junlin Han, Shengbang Tong, David Fan, Minghao Chen, Philip Torr, Filippos Kokkinos, Mike Lewis
该论文通过合成和真实数据上的受控实验，揭示了多模态预训练中语言、视觉理解与视觉生成之间的非对称知识流。研究发现数据复杂度决定模态协同，共享注意力与归一化能促进协同，而早期联合训练优于晚期对齐。实验还发现“视觉懒惰”现象，即延迟融合会导致模型依赖语言先验。作者提出的高效配方仅用5%计算预算即可达到强生成性能，并训练了13.5B MoE模型在2T tokens上验证结论。
论文多模态预训练MoE
推荐理由：这篇论文把多模态预训练的内部机制拆开了，告诉你模态之间怎么互相影响、什么时候协同、什么时候拖后腿，还有省算力的训练配方，值得看看。
原文
8月5日
11:37
8月1日
03:14
03:14AK@_akhaliq
这篇论文提出'探索性建模'（Explorative Modeling）方法，在已有的两个预训练轴之外引入第三个轴向。研究还实现了端到端生成方式。相关论文已发布在Hugging Face平台上。
论文Explorative Modeling预训练端到端生成
推荐理由：这篇论文给预训练加了第三条轴，叫'探索性建模'，还能直接做端到端生成，搞生成模型或预训练研究的可以看看。
原文
7月30日
12:14
11:35
7月28日
12:26
12:26官方账号arXiv cs.AI@Zhen Huang, Yikun Wang, Shijie Xia, Pengfei Liu
DataOrchestra提出针对每个数据样本定制处理流程，统一丢弃、保留或清洗操作。清洗时选择程序化编辑或LLM重写，并生成具体指令。在0.5B至7B模型上从零预训练，11个基准平均提升优于单个处理方法。数学持续预训练中超过更强基线，且跳过不必要操作减少计算量。
论文DataOrchestra大语言模型数据清洗
推荐理由：这篇论文提出了DataOrchestra，能针对每个数据样本定制清洗流程，在多个模型和基准上都有提升，还节省算力。
原文
7月22日
10:48
03:18
00:04
7月21日
18:37
18:37Geek@geekbb
精选
该教程逐行解析 MiniMind 源码，涵盖 Tokenizer、模型结构、预训练、SFT、DPO、PPO、GRPO 共 10 章内容，每章标注对应源码文件和函数名。附录17篇进阶文章补充量化、投机解码、RLHF 等 MiniMind 未涉及的主题。适合希望从代码层面理解大模型全流程的读者。
技巧MiniMind源码预训练
推荐理由：想用代码搞懂大模型训练全流程？这个教程把 MiniMind 的源码一行行讲透，从 Tokenizer 到 GRPO 都有，还附赠量化、RLHF 等进阶知识。
原文
7月20日
09:27
09:27官方账号arXiv cs.AI@Jingyan Shen, Ang Li, Salman Rahman, Yifan Sun, Micah Goldblum, Matus Telgarsky, Pavel Izmailov
该论文以国际象棋为受控测试平台，对5M至1B参数的语言模型进行预训练、监督微调和基于可验证奖赏的强化学习后训练。实验发现，后强化学习阶段的性能可由预训练损失准确预测，且奖励曲线斜率随预训练token数近似线性提升。强化学习并未简单锐化监督微调策略：在简单问题上增强已有正确动作，在难题上则浮现出监督微调下几乎不存在的正确动作。该规律在1B参数的数学领域语言模型上得到验证。
论文推理模型强化学习预训练
推荐理由：这篇论文用象棋做实验，清晰展示了预训练对强化学习效果的预测关系，1B模型验证了规律，读起来很扎实。
原文
7月13日
10:51
10:51官方账号arXiv cs.AI@Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, Yuzhe Gu, Haijun Lv, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen
这篇论文挑战语言模型必须依赖纯文本预训练的假设，系统性地比较了无监督视觉预训练与纯文本预训练在5个骨干网络和多项基准上的表现。实验表明，基于包含图形、公式和版式的视觉文档进行预训练，在相同语料下持续优于纯文本预训练，提升幅度在1.2%-4.7%之间。该方法不依赖文本提取，直接利用视觉特征学习语言智能，为大规模预训练提供了更高效的路径。
论文Visual Pretraining预训练多模态
事件专题
推荐理由：这篇论文发现，把文档当图片直接预训练，比先转成纯文本再训练效果更好，感兴趣的可以看看实验细节。
原文
7月11日
23:00
7月5日
10:44
7月3日
11:33
11:33官方账号arXiv cs.AI@Junhao Shi, Siyin Wang, Xiaopeng Yu, Li Ji, Jingjing Gong, Xipeng Qiu
VLA模型受限于专家演示数据稀缺，这些数据需要观测、指令和动作的三元组，成本高昂。研究提出分解假设，将物理能力（如何移动）与语义对齐（做什么）解耦。基于此设计了TAP框架，先通过自监督逆动力学从无标签交互数据学习运动先验，再用少量专家数据将先验与语言对齐。在SIMPLER基准上，TAP匹配使用超过100万专家轨迹的模型，实现了10%的绝对提升。真实WidowX机器人平台测试中，TAP在相机扰动下保持25%成功率，而互联网规模基线降至0%。
论文VLATAPSIMPLER
推荐理由：这篇论文用无标签数据先学移动再学做事，SIMPLER上提升10%，真实机器人也抗干扰，思路很实用。
原文
7月2日
13:57
11:04
11:04官方账号arXiv cs.AI@Giovanni Monea, Nathan Godey, Kianté Brantley, Yoav Artzi
该论文提出状态-预测分离假设，认为Transformer中预测下一个token与存储有用状态可被分离。作者设计双流Transformer变体，将两个功能分配到不同计算流。在多个规模下的预训练实验中，该方法在数据和计算效率上持续优于标准Transformer，验证损失更低，下游任务平均提升2-3个百分点。额外实证分析排除了潜在混淆因素，揭示了设计带来的梯度差异。
论文Transformer状态-预测分离语言建模
推荐理由：这篇论文把Transformer的预测和记忆分开了，实验证明效果更好，下游任务平均提了2-3个点，搞LLM架构的值得细看。
原文
6月27日
12:14
6月25日
10:41
10:41官方账号arXiv cs.LG@Juliana Li, Diya Sreedhar
论文发现小型语言模型在预训练中学会的代词-性别规则（准确率0.94）会在3500步后自然消失，尽管训练数据仍包含该规则。这种未在损失曲线上反映的反转现象称为natural ungrokking。规则存留由支持频率预测：在2个语料、3个预算、3个种子的16次未干预运行中，支持频率决定规则命运。该动态出现在公开Pythia检查点中，遗忘顺序按模型规模排序。控制不对称：反转支持证据可破坏规则，但即使注入450倍支持也无法恢复。
论文Natural UngrokkingPythia预训练
推荐理由：这篇论文发现了模型训练中规则自然遗忘的规律，并且能预测和控制——破坏容易恢复难，对理解LLM行为很有启发。
原文
6月17日
09:40
09:40官方账号arXiv cs.AI@Liangkai Hang, Junjie Yao, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Zhi-Qin John Xu
73°
论文发现缩小参数初始化尺度能持续改善大语言模型的预训练效果，在推理密集型任务上提升最为显著，同时识别出两种常见训练设置会抑制该优势。研究揭示了初始化尺度的关键平衡点，并发现小初始化驱动参数先凝聚为低复杂度结构再扩展为丰富表示。基于此提出γ初始化规则——将初始化范围作为可调旋钮，默认使用小初始化几乎不增加成本即可改善训练和推理。
论文初始化大语言模型推理
推荐理由：发现一个几乎零成本的训练技巧：缩小初始化尺度能大幅提升大模型推理能力。
原文
6月16日
11:04
6月11日
11:02
11:02官方账号arXiv cs.AI@Ria Doshi, Tian Gao, Annie Chen, Chelsea Finn, Jeannette Bohg
多机器人协作在移动场景中面临扩展性差和部分可观测性问题。CHORUS框架利用预训练视觉-语言-动作（VLA）模型的视觉运动先验，使每个机器人仅依赖自身局部观测和身份提示即可独立运行，无需推理时通信或显式对齐。在移动测量、图书交接和洗衣篮搬运等真实实验中，CHORUS相比从零训练的分散模型提升64%性能，对队友行为的反应性提高40%，并超越集中式基线。该工作表明，共享VLA骨干网络足以实现去中心化多机器人协作，无需为每个机器人单独训练策略。
论文多机器人协作VLA模型去中心化
推荐理由：多机器人协作的扩展性难题被VLA模型破解了——做机器人集群部署的团队可以直接参考CHORUS的零通信方案，省去复杂的对齐和通信模块。
原文
6月5日
12:14
12:14官方账号arXiv cs.AI@Akarsh Kumar, Phillip Isola
精选
论文提出Supervised Memory Training (SMT)，一种训练非线性RNN的新方法。SMT通过将RNN训练转化为一步记忆转换标签的监督学习，完全绕过了传统的循环信用分配。它利用基于Transformer的编码器从预测状态目标中获取记忆标签，只保留预测未来所需的过去信息。SMT实现了时间并行训练，任意两个token之间的梯度路径长度稳定为O(1)，无需展开RNN。实验表明，SMT在语言建模和像素序列建模等任务上优于BPTT，能更好地捕捉长程依赖关系。
论文RNN预训练长程依赖
推荐理由：SMT解决了RNN训练中并行性差和长程依赖难学的问题，做序列建模或时间序列分析的开发者可以直接用这个方法替代BPTT，训练效率会大幅提升。
原文
12:08
12:08官方账号arXiv cs.AI@Senmiao Wang, Tiantian Fang, Haoran Zhang, Yushun Zhang, Kunxiang Zhao, Alex Schwing, Ruoyu Sun
精选
研究人员提出了一种名为PC Layer（Preconditioning Layer）的权重参数化方法，通过在训练过程中对权重矩阵进行低阶多项式预处理，稳定其奇异值谱，从而改善大型语言模型（LLM）的预训练效果。该方法与AdamW和Muon优化器兼容，在Llama-1B模型上验证了其优于标准Transformer架构。训练后，预处理权重可合并回原始架构，不增加推理开销。理论证明，均匀限制每层奇异值能确保梯度下降在深层线性网络中收敛到全局最小值。代码已开源。
论文预训练权重预处理奇异值谱
推荐理由：这项研究解决了LLM训练中权重矩阵病态条件数导致的收敛不稳定问题，做预训练优化的团队可以直接在Llama等模型上尝试，无需额外推理成本。
原文
6月4日
20:32
20:32官方一手Hugging Face: Blog（博客/媒体）
精选
NVIDIA 提出了一种名为 Task-Seeded Synthetic Q&A Generation 的方法，用于为 Nemotron 模型预训练生成高质量的合成问答数据。该方法通过任务种子（task seeds）引导生成多样化的问答对，解决了传统数据生成中覆盖不足和多样性低的问题。实验表明，使用该方法生成的合成数据训练的模型在多个基准测试上表现优异，甚至优于使用真实数据训练的模型。这项技术有望降低对人工标注数据的依赖，加速大语言模型的开发。
论文NVIDIANemotron合成数据
事件专题
推荐理由：NVIDIA 用任务种子生成合成数据，解决了预训练数据稀缺和多样性不足的问题，做 NLP 和模型训练的团队可以关注，能显著降低数据标注成本。
原文
6月3日
10:23
10:23官方账号arXiv cs.AI@Bishwas Mandal, Shmuel Berman, Akshay Vegesna, Samip Dahal
随着计算资源增长快于高质量文本供给，多轮训练成为新常态，但单模型在几轮后即饱和。论文提出“超时代预训练”（q0），将多轮预算转化为多样模型群体并聚合预测，达到比单模型更低的验证损失。q0包含三个核心原语：反相关学习率与权重衰减的循环调度、链式蒸馏、以及基于学习先验的模型选择与加权。在1.8B参数模型、100M FineWeb tokens上，q0仅用约56轮就匹配了256轮强集成基线，效率提升约4.6倍，在Slowrun设置下累积数据效率达12.9倍。该方法还给出了不同预算下的最优分配策略，从单轮到最大预算均可适用。
论文预训练数据效率模型集成
推荐理由：多轮训练效率瓶颈是当前大模型预训练的痛点，q0用群体模型替代单模型精炼，做预训练或数据效率优化的研究者可以直接复现并应用到自己的训练流程中。
原文
6月2日
11:18
11:18官方账号arXiv cs.LG@Kazuto Fukuchi, Ryuichiro Hataya, Kota Matsui
精选
该论文提出了复杂度最小化框架，用于理论解释预训练数据规模增大如何降低下游样本复杂度。通过端到端分析，证明该框架能捕捉元学习中的缩放行为，即少样本适应误差率随元训练数据量增加而改善。实验表明，将复杂度正则化融入现有元学习方法能持续提升下游样本效率。
论文元学习预训练复杂度最小化
推荐理由：这篇论文为预训练数据规模定律提供了首个理论证明，做元学习或预训练研究的学者值得关注，可以直接参考其复杂度正则化方法改进现有模型。
原文
5月25日
11:22
11:22官方账号arXiv cs.LG@Hongwu Peng, Ohiremen Dibua, Yuanjun Xiong, Yifan Gong, Jianming Zhang, Yan Kang
精选
研究者提出Complete-muE框架，解决了从密集FFN到混合专家（MoE）模型架构的超参数迁移问题。现有方法如μP和SDE无法处理MoE中专家数量变化带来的架构和每个专家token数同时改变的问题。Complete-muE通过双桥系统实现迁移：桥I利用激活宽度μP和归一化路由器尺度映射密集FFN到密集MoE；桥II通过激活专家缩放映射密集MoE到稀疏MoE，并处理一阶SDE学习率/权重衰减校正。实验表明，在语言模型和扩散模型预训练中，该框架能使超参数在多种MoE配置下保持稳定，实现“一次调参，迁移所有”的效果，显著加速MoE模型收敛。
论文MoE模型超参数迁移缩放法则
推荐理由：做大规模MoE模型训练的团队终于有了可靠的超参数迁移方案——不用为每个专家配置重新调参，直接复用密集模型的超参数即可，建议做预训练优化的点开看看。
原文
5月22日
16:36
11:10
11:10官方账号arXiv cs.AI@Pilchen Hippolyte, Fabre Romain, Signe Talla Franck, Perez Patrick, Grave Edouard
精选72°
该研究探讨了预训练数据顺序对大语言模型获取时间敏感事实知识的影响。作者构建了包含7000多个时间锚定问题的基准测试，并训练了6B参数模型，比较了按时间顺序预训练与标准随机打乱预训练的效果。结果显示，按时间顺序训练的模型在通用语言理解和常识方面与随机基线相当，但事实知识更新、更精确。随机预训练模型在旧数据上表现更好，可能是因为事实重复更多。研究为LLM持续学习提供了基础，并开源了代码、检查点和数据集。
论文大语言模型预训练数据时序性
推荐理由：这项研究揭示了数据顺序对模型知识时效性的关键影响，做LLM预训练或持续学习的团队值得关注，可以直接参考其基准和训练方法。
原文