AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：信用分配×
6月29日
10:09
10:09arXiv cs.AI@Young Yoon, Jimin Kim, Soyeon Park
该论文提出一种在完全委托的AI合作组织中分配奖励的框架，人类由代理表示，这些代理在异构价值约束下贡献数据并参与模型更新。核心思想是仅对通过每个委托人价值档案筛选的更新给予信用。框架包含价值条件梯度过滤、在线边际贡献信号以及基于遍历学习（TL）的累积收入结算。与FedAvg风格的联邦学习相比，TL通过保留显式遍历和梯度路径提供了更精细的归属基础。该工作对比了数据估值、联邦贡献估计、个性化联邦学习和多元对齐等领域。
论文value-constrained credit assignmenttraversal learning联邦学习信用分配多元对齐
推荐理由：这篇论文提出了一个在AI合作组织中公平分配奖励的框架，用遍历学习替代传统联邦学习，更精细地追踪每个数据贡献者的价值。
原文
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
11:09
11:09arXiv cs.AI@Xucong Wang, Ziyu Ma, Yong Wang, Yuxiang Ji, Shidong Yang, Guanhua Chen, Pengkun Wang, Xiangxiang Chu
精选72°
APPO（Agentic Procedural Policy Optimization）是一种新的强化学习方法，旨在改进大语言模型智能体的多轮工具使用能力。传统方法在粗粒度的交互单元（如工具调用边界）上分配信用，难以识别影响最终结果的关键中间决策。APPO通过分支评分（Branching Score）在序列中细粒度地选择分支点，并结合程序级优势缩放（procedure-level advantage scaling）更精确地分配信用。实验表明，APPO在13个基准测试上平均提升近4个百分点，同时保持高效的工具调用和可解释性。这项研究解决了智能体强化学习中信用分配不精确的问题，对开发更可靠、高效的AI智能体具有重要意义。
论文强化学习智能体工具调用信用分配APPO
推荐理由：做AI智能体强化学习的团队终于有了更精细的信用分配方法——APPO在13个基准上稳定提升4个点，且不牺牲效率，做多轮工具调用优化的开发者值得一试。
原文
6月5日
12:12
12:12arXiv cs.AI@Mykyta Ielanskyi, Kajetan Schweighofer, Lukas Aichberger, Sepp Hochreiter
精选
当前推理语言模型通过强化学习微调时，常使用GRPO算法，但该算法面临延迟奖励问题——只能在完整思维链后给出奖励，导致高方差。RREDCoT提出一种无需额外生成的奖励再分配方法，利用模型自身对思维链中的关键片段进行信用分配，从而降低训练方差。实验表明，该方法在计算开销和效果上优于蒙特卡洛采样及其他归因方法。这项研究为提升推理模型训练效率提供了新思路，尤其适合长上下文场景。
论文推理模型强化学习奖励再分配思维链信用分配
推荐理由：做推理模型RL微调的团队终于有了降低训练方差的实际方案——RREDCoT用模型自身做信用分配，省去额外生成成本，长上下文场景下效果显著，值得关注。
原文
6月4日
11:01
11:01arXiv cs.AI@Rishabh Agrawal, Jacob Fein-Ashley, Paria Rashidinejad
72°
当前主流的强化学习从可验证奖励（RLVR）方法仅使用最终答案正确与否的单一比特信号，忽略了执行轨迹、工具输出、专家修正和模型自评估等丰富反馈。研究者提出DistIL方法，基于分布化DAgger算法，通过前向交叉熵目标利用这些反馈，实现序列级别的信用分配。理论证明该方法能保证单调策略改进和遗憾界，而基于反向KL或JS散度的自蒸馏目标则无法保证。实验表明，DistIL在科学推理、编程和数学问题求解等多个领域优于RLVR和自蒸馏基线。
论文强化学习DAgger丰富反馈推理模型信用分配
推荐理由：DistIL解决了RLVR只利用最终答案信号的局限，让模型能从执行过程和专家反馈中学习，做推理模型和编程助手的团队值得关注这一新范式。
原文