面向弹性信息物理系统的无模型强化学习控制

Model-Free Reinforcement Learning Control for Resilient Cyber-Physical Systems

精选理由

这篇论文对比了四种强化学习奖励函数在抵御网络攻击时的表现,发现Lyapunov奖励弹性最好,PPO比DDPG方差更低,做控制器设计可以拿来参考。

AI 摘要

该论文在非线性系统上比较了无模型控制器在虚假数据注入和拒绝服务攻击下的性能,分析了四种RL奖励类型(Lyapunov、指数、渐进、线性)的准确率、成本和弹性。结果显示Lyapunov奖励以低跟踪误差实现了最佳弹性,指数模式在中等训练条件下提供良好折衷,渐进和线性奖励收敛更快但鲁棒性较差。RL-MPC模型表现出强稳态弹性但需更长训练时间,RL-PID控制器训练时间显著缩短。PPO相比DDPG显著降低了KPI方差。

AI 翻译 · 中文

该论文在非线性系统上比较了无模型控制器在虚假数据注入和拒绝服务攻击下的性能,分析了四种RL奖励类型(Lyapunov、指数、渐进、线性)的准确率、成本和弹性。结果显示Lyapunov奖励以低跟踪误差实现了最佳弹性,指数模式在中等训练条件下提供良好折衷,渐进和线性奖励收敛更快但鲁棒性较差。RL-MPC模型表现出强稳态弹性但需更长训练时间,RL-PID控制器训练时间显著缩短。PPO相比DDPG显著降低了KPI方差。

arXiv cs.LGThis paper compares the performance of model-free controllers on a nonlinear system under cyberattacks, including false data injection and denial-of-service attacks. Four RL reward types are analyzed for accuracy, cost,