09:55arXiv cs.LG@Tristan Tomilin, Mourad Boustani, Mickey Beurskens, Thiago D. SimãoCRAX基于MuJoCo XLA(MJX)物理引擎,利用JAX的向量化操作和硬件加速,在安全强化学习基准测试中实现约100倍于CPU版本的速度提升。该基准包含六套环境和三类智能体任务,每类任务设三个难度级别。研究者在六个主流安全RL方法上的评估表明,没有一种方法在所有任务中占优,揭示了性能与安全之间的权衡。实验还发现,跨难度级别的课程学习与安全迁移在困难设置下比直接训练效果更好。AI模型CRAXMuJoCoJAX安全RL基准测试推荐理由:想快速测试安全RL算法?CRAX用JAX把基准跑快100倍,还自带六个环境和三级难度,帮你一眼看出哪个方法在安全与性能上最均衡。原文
00:33Google Developers Blog(博客/媒体)Google的MaxText框架现在支持在单主机TPU上进行监督微调(SFT)和强化学习(RL),利用JAX和Tunix库实现高效模型优化。开发者可通过GRPO和GSPO等算法轻松调整预训练模型以适应专业任务和复杂推理。该更新简化了从单主机到多主机配置的微调流程,为后训练工作流提供了可扩展路径。AI产品微调/RLTPUJAXMaxText推荐理由:这表明Google正在降低TPU上高级模型微调的门槛,让中小规模团队也能在单主机TPU上应用RL算法进行后训练,对AI开发实践有实用价值。原文