MuJoCo 相关 AI 资讯 · AI 热点

8月6日

11:47

11:47

官方账号arXiv cs.LG@Rohit Kumar Salla, Manoj Saravanan, Simon Stepputtis

扩散策略在连续控制中性能出色，但迭代去噪带来高计算成本。POGP框架通过Bellman式递归学习每个中间去噪步骤的前缀值函数。POGP的前缀值函数提供辅助训练目标，并在测试时决定是否提前停止。在MuJoCo的4个环境中与12个基线对比，POGP将所需去噪迭代减少约2.7倍，同时保留近全部任务性能。相比最先进的动态扩散基线，前缀训练还使最终任务性能提升约3.5%。

AI模型 POGP Diffusion Policy MuJoCo

推荐理由：POGP能在保持性能的同时把去噪步数砍掉近三分之二，还比现有动态扩散方法更准，做连续控制的可以看看。

7月2日

15:25

15:25

AI Will@FinanceYF5

Aaron Lemke使用Fable 5为其强化学习生物添加了毛发和新的语音。语音基于神经网络的激活状态（左上图显示）。该演示使用了Three.js和WebGL/WebGPU进行渲染。模型在Runpod上使用JAX和MuJoCo（来自Google DeepMind）训练。

AI产品 Fable 5 Three.js JAX

推荐理由：看Aaron Lemke用Fable 5给他的RL生物加上毛发和实时语音，声音还跟着神经网络激活变化，太酷了。

15:20

15:20

AI Will@FinanceYF5

精选

开发者使用Fable 5为强化学习训练出的生物添加了毛发和动态声音。声音并非录制，而是直接从神经网络的激活值实时生成。训练过程基于JAX和MuJoCo模拟器，渲染使用three.js和WebGPU。最终效果看起来像活物在地板上爬行，引发对AI艺术与研究边界的讨论。

AI模型 Fable 5 RL JAX

推荐理由：这个项目把RL训练的活物做得超逼真，毛发和声音都来自神经网络激活值，技术堆叠很酷，值得看一眼。

7月1日

09:44

09:44

官方账号arXiv cs.LG@Xudong Wu, Pangpang Liu, Vaneet Aggarwal, Jiayu Chen

本文分析了自改进对齐（SAIL）算法在解决分布偏移问题时的收敛性质，指出原始SAIL目标函数因Hessian性质不保证强凹性。作者提出正则化目标SAIL-RevKL，引入逆向KL散度惩罚改善优化景观，并证明该目标在有限参数空间内满足Polyak-Lojasiewicz（PL）条件。理论贡献包括建立全局收敛保证，实现近线性样本复杂度。实验表明，SAIL-RevKL在MuJoCo基准和LLM对齐任务上均优于原始SAIL。

论文 SAIL SAIL-RevKL LLM对齐

推荐理由：这篇论文给自改进对齐的收敛性补上了理论证明，SAIL-RevKL加了逆向KL惩罚后效果更好，对做LLM对齐和强化学习的朋友很有参考价值。

6月30日

10:15

10:15

官方账号arXiv cs.AI@Hyunwoo Park, Sang-Hyun Lee

针对仿真到真实迁移中目标数据稀缺的问题，该研究提出AIDA框架。AIDA通过自适应想象生成可靠轨迹，并利用分布偏移感知判别器截断低置信度过渡，仅保留可靠数据用于增强。在5个MuJoCo任务和2个Gymnasium-Robotics任务上，AIDA显著优于现有基线方法。实验表明自适应想象能有效截断不可靠轨迹，并通过自一致性损失学习有语义的状态表示。

论文 AIDA 域自适应视觉强化学习

推荐理由：仿真到真实迁移一直难做，这篇论文的AIDA方法在目标数据极少时仍能大幅提升性能，比之前的方法强不少。

6月19日

09:55

09:55

官方账号arXiv cs.LG@Tristan Tomilin, Mourad Boustani, Mickey Beurskens, Thiago D. Simão

CRAX基于MuJoCo XLA（MJX）物理引擎，利用JAX的向量化操作和硬件加速，在安全强化学习基准测试中实现约100倍于CPU版本的速度提升。该基准包含六套环境和三类智能体任务，每类任务设三个难度级别。研究者在六个主流安全RL方法上的评估表明，没有一种方法在所有任务中占优，揭示了性能与安全之间的权衡。实验还发现，跨难度级别的课程学习与安全迁移在困难设置下比直接训练效果更好。

AI模型 CRAX MuJoCo JAX

推荐理由：想快速测试安全RL算法？CRAX用JAX把基准跑快100倍，还自带六个环境和三级难度，帮你一眼看出哪个方法在安全与性能上最均衡。