#偏好反馈

这是篇新论文，LEMUR能直接从多人偏好学多目标策略，不用设奖励函数，基准上比现有方法强。

偏好反馈是 RLHF 的核心，但理论分析一直稀缺。这篇论文把核 MDP 和偏好学习结合，给出了亚线性遗憾界，做理论强化学习或 RLHF 算法设计的研究者值得细读。