Chinese content论文提出 Effective Entropy:用有效性感知熵修正 RLVR 探索多样性
做 RLVR 训练的人该看看这篇。它指出 token 熵高其实是模型在乱说话,不是在探索,然后给了 VEPO 这个修法,在 MATH500 等六个数学基准上比 GRPO 准确率更高,还用统计检验验证了策略确实更多样。
做 RLVR 训练的人该看看这篇。它指出 token 熵高其实是模型在乱说话,不是在探索,然后给了 VEPO 这个修法,在 MATH500 等六个数学基准上比 GRPO 准确率更高,还用统计检验验证了策略确实更多样。
This research provides a more effective method for reducing the cost of large reasoning models, which is important for making them more practical and accessible.