09:47arXiv cs.AI@Ruishan Fang, Siyuan Lu, Chenyi Zhuang, Tao Lin多轮工具使用强化学习受限于静态数据集中信息样本快速耗尽的问题。研究观察到GRPO中梯度集中在高奖励方差任务上,基于Popoviciu上界。提出RODS方法,利用进度奖励方差作为零成本边界检测器,无需额外推理。通过技能对齐重采样管道合成新多轮变体,维护动态缓冲池。从400个人工种子开始,保持约800样本活跃池,达到与17K样本离线管道相当性能,轨迹数减少约20倍。论文RODSGRPO工具使用智能体强化学习数据合成推荐理由:这篇论文用奖励方差自动发现困难样本并生成新数据,训练效率比静态数据高20倍,特别适合多轮工具智能体场景。原文
12:36arXiv cs.LG@Alexander Chulzhanov, Soeren Eberhardt, Arjun Mukherjee精选该研究针对数字低资源土著语言的神经机器翻译(NMT)数据极度稀缺问题,提出了一种无需抓取目标语言平行文本的数据合成方法。以Q'eqchi'玛雅语为例,研究者将社区词典转化为大规模合成语料,并采用LoRA适配器对mT5-base模型进行参数高效微调(PEFT)。域内评估显示模型能有效学习复杂黏着形态和VOS语序(BLEU 42.02),但面对自然语言时存在结构-语义鸿沟(BLEU 0.59),模型过度拟合合成模板的结构约束。消融实验表明多任务学习导致负迁移,LoRA适配器参数容量有限,辅助任务与主任务竞争。最终结论是合成引导是高效的结构入门,但需要真实数据进行课程学习以完善语义。论文低资源NMT数据合成参数高效微调LoRAQ'eqchi'玛雅语推荐理由:低资源语言NMT研究者终于有了一个不依赖网络爬虫的可行方案——用社区词典合成数据+LoRA微调就能启动翻译模型,做濒危语言数字化的团队值得关注。原文