GiGPO（Group-in-Group Policy Optimization，组内组策略优化）是一种面向长 horizon 智能体任务的强化学习优化算法，由 Berkeley Sky Computing Lab 等机构于 2025 年提出。它针对 GRPO 等方法在多步智能体任务中面临的两大瓶颈——步级 credit assignment 困难和轨迹级分组估计方差高——提出在 episode 级分组之外，再按（锚状态、步数、动作）对同一状态下的动作进行二级分组，从而在不引入额外反向传播或大模型评判（critic）的前提下，为每个中间动作提供相对优势估计。
GiGPO 近期进展
GiGPO 提出后被广泛用作搜索智能体等下游研究的 RL 训练基线。在 KnowGPO：基于知识分组优化的搜索智能体强化学习框架 中，作者沿用了 GiGPO 的组内组优势估计思路，并进一步按知识类型对轨迹分组，以细化搜索智能体在多轮检索-推理过程中的信用分配，报告在多个搜索基准上优于以 GiGPO 为代表的既有分组优化方法。
围绕 GiGPO 的另一类研究关注其训练管线本身的可移植性。Muon优化器在智能体强化学习中的效果研究 考察了在 GiGPO 等智能体 RL 框架中，将 AdamW 替换为 Muon 优化器对训练稳定性与收敛速度的影响，为这类免 critic 的分组优化方法提供了优化器层面的补充观察。
在训练效率方向，一层足矣？训练单层Transformer可媲美全参数RL训练 探讨了用单层 Transformer 近似全参数 RL 训练的可行性，其中也涉及 GiGPO 所代表的长 horizon 智能体训练范式对计算开销的敏感性，呼应了该算法'无额外 critic、低开销'的设计初衷。
当前焦点与观察点
目前 GiGPO 的讨论集中在三点：一是其免 critic 的二级分组方案在 LLM Agent、搜索、代码执行等多步任务上的通用性，多家后续工作已将其作为强基线复现；二是与 GRPO、GiGPO 类似的分组类优势估计方法在不同优化器和模型规模下的稳健性；三是超长 horizon（数百步以上）场景中，锚状态匹配的粒度与方差问题是否仍是瓶颈。整体看，GiGPO 已从单篇算法工作演变为智能体强化学习信用分配方向的一个常用参照点，其效果边界仍有待更多独立评测验证。