11:10arXiv cs.LG@Kai S. Yun, Zeyang Li, Navid AzizanPS2-RL是一种两阶段安全强化学习框架,第一阶段通过safe-arrival价值函数训练备份策略,隐含构建控制不变集。第二阶段利用可微投影层对RL策略进行端到端训练,严格保证安全约束。该方法在最高10维状态的机器人控制任务上评估,较此前可证明安全方法更可扩展且性能更优。PS2-RL不限制底层RL算法,可插入现有训练流程。论文PS2-RL安全强化学习可证明安全备份策略控制不变集推荐理由:安全RL扩展新解法原文
13:01arXiv cs.AI@Yifan Wang该论文提出一种新的安全强化学习框架,旨在区分控制策略本身的安全性与外部安全过滤器的贡献。作者引入干预感知变分量子可微预测控制(IA-VQC-DPC),通过原对偶干预预算惩罚对可微控制屏障函数(CBF)投影的依赖,并设计安全归因协议来分解轨迹修正中的CBF项和运行时防护项。在BOPTEST建筑控制仿真中,干预感知训练显著降低了量子策略的原始违规率和安全层依赖,且未造成能量回归。在同等参数预算下,量子策略比经典策略更安全、更舒适。该归因协议具有通用性,不限于量子策略和建筑领域。论文安全强化学习量子控制控制屏障函数安全归因建筑控制推荐理由:这篇论文解决了AI安全领域一个关键问题:如何区分策略本身的安全能力与外部过滤器的保护。做安全强化学习或控制系统的研究者值得关注,其安全归因协议可直接用于评估其他策略的真实安全性。原文
11:07arXiv cs.LG@Shixiong Jiang, Taozheng Zhu, Fanxin Kong精选离线安全强化学习(Safe RL)依赖静态数据集,容易遭受数据毒化攻击——攻击者注入恶意样本导致策略不安全。本文提出Safe-RULE(安全强化反学习)框架,无需从头重新训练或访问原始训练环境,即可移除毒化数据的影响。该方法在反学习过程中同时考虑任务性能和安全约束,实验表明能有效提升对数据毒化攻击的安全性。论文安全强化学习数据毒化防御反学习离线RLSafe-RULE推荐理由:做安全强化学习或机器人系统的团队,终于有了一个不用重训模型就能清理毒化数据的方案,值得关注。原文