Critic 是强化学习中的核心评估组件，负责估计状态价值函数和动作价值函数，为智能体提供决策反馈。在 Actor-Critic 架构中，Critic 与 Actor 协同工作，前者评估策略质量，后者执行动作，共同优化智能体的决策过程。
Critic 近期进展
QF3 算法用过滤 Q 梯度加速流策略强化学习训练。该研究通过优化 Critic 的梯度计算过程，显著提升了流策略强化学习的训练效率，为大规模强化学习应用提供了新思路。QF3 算法用过滤 Q 梯度加速流策略强化学习训练
Actor-Critic with Action Chunking (AC2) 方法发布。该研究提出了一种新的 Critic 架构，通过动作分块处理解决了长序列决策问题，在复杂环境中展现出更稳定的性能表现。Actor-Critic with Action Chunking (AC2) 方法发布
AdaStep：用自适应步级权重改进智能体强化学习训练。该方法通过动态调整 Critic 的学习步长，解决了传统方法中学习不稳定的问题，在多个基准测试中提升了 15% 的收敛速度。AdaStep：用自适应步级权重改进智能体强化学习训练
当前焦点与观察点
Critic 方法的发展正朝着更高效、更稳定的方向演进。研究人员致力于解决 Critic 在高维状态空间中的泛化问题，以及如何更好地处理延迟奖励信号。Meta AI 发布的 MIRA 拆分架构通过分离决策和评估模块，有效提升了 Critic 在长程任务中的表现。Meta AI 发布 MIRA：拆分架构解决长程研究智能体的决策难题
另一个趋势是将 Critic 与其他技术融合，如知识追踪和校准剪枝。EVOL 方法通过知识追踪模拟器生成专家路径，优化了 Critic 的训练过程，无需部署即可生成有效的学习策略。这些创新表明，Critic 作为强化学习的关键组件，正在不断演进以适应更复杂的任务需求。EVOL：用知识追踪模拟器生成专家路径，免部署训练学习路径推荐策略