AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：门控机制×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月10日
11:38
11:38arXiv cs.AI@Soham Bhattacharjee, Karun Sharma, Vinay Kumar Sankarapu, Pratinav Seth
精选
这篇论文研究了合成后训练数据筛选中的两个关键问题：过滤信号是否基于生成样本的来源证据，以及被拒绝的样本能否被系统性地恢复而非永久丢弃。作者通过对抗性注入语料库提供真实失败标签，在多种门控配置、恢复策略和生成器规模下进行了受控实验。研究发现，精确的来源证据能提升强评判器的忠实度门控效果；幻觉门控和奖励门控拒绝的样本群体几乎不重叠，因此两者都必要；结合失败诊断与定向再生成的适应性恢复管线，在产出率、恢复率和注入召回率上均优于简单重采样。下游微调质量主要由生成器规模决定，过滤和恢复条件虽有贡献但属于次要因素。
论文合成数据数据筛选门控机制恢复策略后训练
推荐理由：做合成数据后训练管线的团队会感兴趣——这篇论文用实验证明了来源证据门控和适应性恢复策略能显著提升数据质量，比简单重采样更高效，建议做数据筛选的开发者点开看看具体方法。
原文
5月29日
13:03
13:03arXiv: DeepSeek@Johannes Moll, Jean-Philippe Corbeil, Jiazhen Pan, Martin Hadamitzky, Daniel Rueckert, Lisa Adams, Keno Bressem
精选72°
LLM智能体在结构化环境中常因操作失败而非对话失败，其可靠性依赖于对环境的程序性知识。现有自我改进方法会累积自然语言指导，但不检查新条目是否破坏已有正确行为，导致修复一个轨迹却使另一个退化。GRASP将智能体改进视为对有限技能库的编辑序列，仅当候选技能在平衡的保留测试集上产生净改进且不超过硬回归预算时才被接受。在五个基础模型和两个临床基准上，GRASP将gpt-oss-120b从40.6%提升至88.8%，超过最强基线21.0个百分点，并提升其他模型17.2至40.3个百分点。该方法还泛化到非临床环境，且技能库可在模型间迁移，强模型技能能提升弱模型表现，反之则不行。
论文LLM智能体自我改进技能库回归预算门控机制
推荐理由：做LLM智能体自我改进的团队终于有了一个不担心「修好一个、搞坏一个」的方案——GRASP用硬回归预算和门控机制确保每次改进都是净收益，临床场景提升显著，建议做智能体可靠性的开发者点开看看。
原文
5月22日
11:02
11:02arXiv cs.AI@Ali Hatamizadeh, Yejin Choi, Jan Kautz
精选72°
线性注意力模型通过固定大小的循环状态替代软注意力的无限缓存，但如何高效编辑压缩记忆而不打乱已有关联是难点。现有Delta规则模型使用单一标量门控同时控制擦除旧内容和写入新内容，存在耦合限制。Gated DeltaNet-2提出通道级擦除门控b_t和写入门控w_t，将两者解耦，可退化为KDA和Gated DeltaNet。在1.3B参数、100B FineWeb-Edu tokens训练下，该模型在语言建模、常识推理和检索任务上全面超越Mamba-2、Gated DeltaNet、KDA和Mamba-3。尤其在长上下文RULER基准的多键检索设置中优势显著，代码已开源。
论文线性注意力门控机制长上下文开源/仓库推理模型
推荐理由：线性注意力研究者终于有了更精细的门控机制——Gated DeltaNet-2把擦除和写入分开控制，做高效长序列建模的团队可以直接复现并对比效果。
原文