AITOP
精选
过去 24 小时，从 662 条中筛出 45 条
全部模型产品行业论文技巧
标签：预训练×
6月11日
15:28
15:23
15:07
6月5日
12:14
12:14arXiv cs.AI@Akarsh Kumar, Phillip Isola
精选
论文提出Supervised Memory Training (SMT)，一种训练非线性RNN的新方法。SMT通过将RNN训练转化为一步记忆转换标签的监督学习，完全绕过了传统的循环信用分配。它利用基于Transformer的编码器从预测状态目标中获取记忆标签，只保留预测未来所需的过去信息。SMT实现了时间并行训练，任意两个token之间的梯度路径长度稳定为O(1)，无需展开RNN。实验表明，SMT在语言建模和像素序列建模等任务上优于BPTT，能更好地捕捉长程依赖关系。
论文RNN预训练长程依赖并行训练监督学习
推荐理由：SMT解决了RNN训练中并行性差和长程依赖难学的问题，做序列建模或时间序列分析的开发者可以直接用这个方法替代BPTT，训练效率会大幅提升。
原文
12:08
12:08arXiv cs.AI@Senmiao Wang, Tiantian Fang, Haoran Zhang, Yushun Zhang, Kunxiang Zhao, Alex Schwing, Ruoyu Sun
精选
研究人员提出了一种名为PC Layer（Preconditioning Layer）的权重参数化方法，通过在训练过程中对权重矩阵进行低阶多项式预处理，稳定其奇异值谱，从而改善大型语言模型（LLM）的预训练效果。该方法与AdamW和Muon优化器兼容，在Llama-1B模型上验证了其优于标准Transformer架构。训练后，预处理权重可合并回原始架构，不增加推理开销。理论证明，均匀限制每层奇异值能确保梯度下降在深层线性网络中收敛到全局最小值。代码已开源。
论文预训练权重预处理奇异值谱Llama优化器
推荐理由：这项研究解决了LLM训练中权重矩阵病态条件数导致的收敛不稳定问题，做预训练优化的团队可以直接在Llama等模型上尝试，无需额外推理成本。
原文
6月4日
20:32
20:32Hugging Face: Blog（博客/媒体）
精选
NVIDIA 提出了一种名为 Task-Seeded Synthetic Q&A Generation 的方法，用于为 Nemotron 模型预训练生成高质量的合成问答数据。该方法通过任务种子（task seeds）引导生成多样化的问答对，解决了传统数据生成中覆盖不足和多样性低的问题。实验表明，使用该方法生成的合成数据训练的模型在多个基准测试上表现优异，甚至优于使用真实数据训练的模型。这项技术有望降低对人工标注数据的依赖，加速大语言模型的开发。
论文NVIDIANemotron合成数据预训练问答生成
推荐理由：NVIDIA 用任务种子生成合成数据，解决了预训练数据稀缺和多样性不足的问题，做 NLP 和模型训练的团队可以关注，能显著降低数据标注成本。
原文
6月2日
11:18
6月1日
00:09
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？
5月25日
11:22
11:22arXiv cs.LG@Hongwu Peng, Ohiremen Dibua, Yuanjun Xiong, Yifan Gong, Jianming Zhang, Yan Kang
精选
研究者提出Complete-muE框架，解决了从密集FFN到混合专家（MoE）模型架构的超参数迁移问题。现有方法如μP和SDE无法处理MoE中专家数量变化带来的架构和每个专家token数同时改变的问题。Complete-muE通过双桥系统实现迁移：桥I利用激活宽度μP和归一化路由器尺度映射密集FFN到密集MoE；桥II通过激活专家缩放映射密集MoE到稀疏MoE，并处理一阶SDE学习率/权重衰减校正。实验表明，在语言模型和扩散模型预训练中，该框架能使超参数在多种MoE配置下保持稳定，实现“一次调参，迁移所有”的效果，显著加速MoE模型收敛。
论文MoE模型超参数迁移缩放法则Transformer预训练
推荐理由：做大规模MoE模型训练的团队终于有了可靠的超参数迁移方案——不用为每个专家配置重新调参，直接复用密集模型的超参数即可，建议做预训练优化的点开看看。
原文
5月22日
11:10
11:10arXiv cs.AI@Pilchen Hippolyte, Fabre Romain, Signe Talla Franck, Perez Patrick, Grave Edouard
精选72°
该研究探讨了预训练数据顺序对大语言模型获取时间敏感事实知识的影响。作者构建了包含7000多个时间锚定问题的基准测试，并训练了6B参数模型，比较了按时间顺序预训练与标准随机打乱预训练的效果。结果显示，按时间顺序训练的模型在通用语言理解和常识方面与随机基线相当，但事实知识更新、更精确。随机预训练模型在旧数据上表现更好，可能是因为事实重复更多。研究为LLM持续学习提供了基础，并开源了代码、检查点和数据集。
论文大语言模型预训练数据时序性事实知识持续学习
推荐理由：这项研究揭示了数据顺序对模型知识时效性的关键影响，做LLM预训练或持续学习的团队值得关注，可以直接参考其基准和训练方法。
原文
5月20日
11:30
11:30arXiv cs.LG@Valentina Njaradi, Clémentine Dominé, Rachel Swanson, Marco Mondelli, Andrew Saxe
精选
该论文通过高维分析框架，研究了预训练表征维度对下游线性探测泛化性能的影响。作者将预训练建模为无标签数据的主成分分析，下游任务建模为有标签数据的线性回归，并推导出训练误差和泛化误差的精确表达式。研究发现，当预训练数据充足但下游数据稀缺时，最大压缩的表征最优；而当预训练数据有限时，高维表征泛化更好。论文还量化了无标签数据与有标签数据之间的替代关系，并在自编码器和预训练大语言模型中观察到类似现象。
论文预训练表征学习泛化理论线性探测高维分析
推荐理由：这篇论文为预训练表征的维度选择提供了理论指导，做迁移学习或模型压缩的研究者可以直接参考其结论来优化训练策略。
原文
11:17
11:17arXiv cs.LG@Zhen Xiong, Shang-Ling Hsu, Cyrus Shahabi
精选
TrajTok 是一种新型轨迹编码器，通过自适应多分辨率六边形网格分词和掩码标记预训练，从原始GPS轨迹中学习可迁移的轨迹表征。它解决了传统网格分词中细粒度导致稀疏、粗粒度混淆运动模式的问题。TrajTok 使用分解式Transformer编码器，分别处理几何和运动学特征，并通过交叉注意力融合。在Porto数据集上，冻结的TrajTok编码器配合轻量任务适配器，在轨迹相似性搜索、分类、预计到达时间等任务上超越多个专用方法。这表明多分辨率空间分词与掩码预训练是构建通用轨迹基础模型的有前景方向。
论文轨迹表征空间分词Transformer预训练GPS数据
推荐理由：做轨迹分析或时空数据挖掘的团队，TrajTok 提供了一种无需为每个任务单独训练模型的通用方案，值得关注其预训练权重和代码开源。
原文
10:24
10:24arXiv cs.AI@Yuze Zhao, Junpeng Fang, Lu Yu, Zhenya Huang, Kai Zhang, Qing Cui, Qi Liu, Jun Zhou, Enhong Chen
精选72°
这篇论文通过控制预训练实验，重新审视了代码训练对语言模型推理能力的影响。研究发现，纯代码主要提升编程能力，而非通用推理能力，甚至与数学等知识密集型任务存在竞争关系。真正提升数学推理的是跨领域的结构化推理信号，如代码-文本和数学-文本混合数据。在固定数学预算下，增加结构化数学样本密度能显著提升复杂数学推理，同时保持编程性能。分析还显示，数据组成效应反映在专家激活模式中，为跨领域的竞争与协同提供了机制层面的证据。
论文推理模型预训练数学推理代码训练数据策略
推荐理由：这篇论文戳破了“代码训练提升通用推理”的迷思，做预训练数据策略的团队值得细看——它指明了如何通过结构化推理信号精准优化数学能力，而非盲目堆代码。
原文
5月14日
18:29