噪声鲁棒性相关 AI 资讯 · AI 热点

7月22日

12:05

12:05

官方账号arXiv cs.LG@Lance Kennedy, Hossein Amiri, Yueyang Liu, Riyang Bao, Hanqi Chen, Mohammad Hashemi, Ruochen Kong, Xiaotong Liu, Joon-Seok Kim, Shengpu Tang, Liang Zhao, Andreas Züfle

该论文引入了16个大规模模拟数据集，每个数据集包含数千个智能体的轨迹及带注释的驻留点，并涵盖不同的轨迹噪声水平。作者评估了9种驻留点检测算法，包括现有最优方法和新提出的方法。结果显示，现有算法在真实噪声条件下表现较差，而提出的无监督方法有显著改进，监督方法则大幅超越现有基线。该论文指出，这些数据集和方法仅作为未来研究的起点。

论文 staypoint detection 轨迹数据基准数据集

推荐理由：这篇论文提供了16个带噪声的轨迹数据集和9种驻留点检测算法评估，发现现有方法在真实噪声下效果差，而他们的新方法提升明显，对做轨迹分析的人很有参考价值。

6月2日

09:37

09:37

官方账号arXiv cs.AI@Longxuan Yu, Yunshu Wu, Yu Fu, Siheng Xiong, Rob Brekelmans, Hui Liu, Yue Dong, Greg Ver Steeg

72°

离散掩码扩散语言模型在少步解码时面临长度与质量的权衡：固定步数下，要么生成短而高质量的输出，要么生成长但重复的文本。连续去噪通过在嵌入空间联合演化所有位置来规避此问题，但大规模从头构建此类模型仍是难题。本文证明，预训练的掩码DLM可轻量适配以支持连续嵌入空间去噪：从LLaDA-8B-Instruct出发，仅用1000步继续预训练（离散随机定位DSL），将二元掩码替换为连续逐token高斯噪声作为软掩码。适配后的模型支持连续推理，在嵌入空间联合演化所有位置，并在最后一步才做出硬token承诺。在低步数（≤16次前向传播）的零样本摘要任务中，DSL-LLaDA-SDE在所有四个基准上取得最佳ROUGE-1，并大幅避免了迭代去掩码的提前终止/重复权衡。该适配还带来选择性噪声状态鲁棒性：模型能纠正被破坏的token，同时保留干净的token。对照实验表明，使用相同计算量的标准掩码扩散训练无法产生这两种行为。

论文扩散语言模型连续去噪 LLaDA

推荐理由：这项研究解决了扩散语言模型在少步解码时的质量-长度权衡问题，做文本生成或摘要的开发者可以直接用DSL-LLaDA获得更好的零样本效果，值得关注。