#策略梯度

共 10 条 · 7 天 3 条 · 30 天 4 条

REINFORCE 2 Defensive Policy Gradient 1 GSM8K 1 IDRF 1 ImageNet 1 MBPP 1 MDLM 1 RE(S) 1

信息流里打上「策略梯度」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月5日

论文政策与合规21:13

Defensive Policy Gradient：去掉重要性权重方差假设的 O(ε⁻³) 采样复杂度

优化策略梯度的人可以看看：新算法 Defensive Policy Gradient 不再依赖重要性权重方差假设，就能拿到 O(ε⁻³) 采样复杂度，还配了下界证明。

#REINFORCE #策略梯度 #强化学习 #Defensive Policy Gradient

arXiv cs.LG@Gabor Paczolay 等 5 人原文

论文 Agent 与开发者20:29

论文提出 horizon loss：一行改动让分类训练超过交叉熵

有人把交叉熵重新解读成策略梯度，然后推出一行代码就能替换的 horizon loss，在 ResNet-50 和 ViT-S/16 上实测涨点，做分类训练的可以试试。

#策略梯度 #交叉熵 #ResNet-50 #ViT-S/16

arXiv cs.LG@Ian Osband原文

论文 Agent 与开发者19:09

IDRF：掩码离散扩散模型的逆蒸馏奖励微调框架

一篇扩散模型微调的论文，教你怎么给少步掩码扩散模型做奖励微调，还能少 32 倍去噪步数，做生成方向的可以看看。

#IDRF #扩散模型 #奖励微调 #策略梯度

arXiv cs.LG@Vladislav Gromadskii 等 7 人原文

9月30日

论文 Agent 与开发者09:52

基于自生成和加权奖励的微调学习研究

这篇论文揭示了离策略微调的收敛特性，证明适当增大S值能避免陷入次优策略，对大语言模型后训练有重要指导意义。

#REINFORCE #RE(S)#策略梯度 #微调

arXiv cs.LG@Zhiwei Wang 等 4 人原文

7月17日

论文10:08

掩码感知策略梯度提升扩散语言模型推理能力

这篇论文给扩散语言模型加了个策略梯度法子，数学推理和编程测试成绩都刷了新高，搞RL训练模型的可以看看。

#MDLM #扩散语言模型 #策略梯度 #GSM8K

arXiv cs.AI@Haran Raajesh 等 4 人原文

6月16日

论文10:36

Proximal Policy Optimization for Amortized Discrete Sampling

这篇论文把PPO用到了GFlowNet上，收敛更快、数据效率更高，做离散采样研究的可以看看。

#PPO #GFlowNet #离散采样 #策略梯度

arXiv cs.LG@Anna Zykova-Myzina 等 4 人原文

6月9日

论文精选09:37

黑盒语言模型解释新方法：学习优化语言结构化的单词子集

做NLP模型可解释性研究的团队，终于有了一个兼顾效率、黑盒兼容和语言直觉的方案——无需模型内部信息，直接输出可理解的单词子集解释，值得一试。

#可解释性 #黑盒模型 #单词选择 #策略梯度

arXiv cs.AI@Minyoung Hwang 等 3 人原文

6月3日

论文10:25

用奖励不确定性诱导强化学习多样化行为

做RL研究或语言模型微调的团队，如果正为多样性-性能权衡头疼，这篇论文给出了一个理论干净的新框架——把奖励不确定性当作多样性来源，不用额外调参。值得细读。

#强化学习 #多样性 #奖励不确定性 #策略梯度

arXiv cs.AI@Anthony GX-Chen 等 10 人原文

5月19日

论文精选11:14

多智能体策略梯度中的均衡选择：对手感知盆地进入机制

这篇论文为多智能体强化学习中的均衡选择问题提供了理论解释和实用机制，做多智能体系统或博弈论应用的开发者值得关注，尤其是对合作均衡有需求的团队可以看看如何通过对手感知修正引导策略收敛。

#多智能体 #策略梯度 #均衡选择 #纳什均衡

arXiv cs.LG@Yevhen Shcherbinin 等 4 人原文

5月12日

论文19:11

k步策略梯度法突破局部最优

本文从理论层面揭示了策略梯度方法短视性的根源，并提出了具有指数级收敛保证的改进方案。对强化学习从业者而言，这是一项重要的理论突破，有望推动受限策略类在复杂多智能体等场景的实际应用。

#强化学习 #策略梯度 #理论突破 #多智能体

arXiv cs.LG@Alex DeWeese, Guannan Qu原文