10:05官方账号arXiv cs.LG@Alexander Rombach, Chantale Lauer, Nijat Mehdiyev这篇论文研究了奖励函数设计对基于强化学习(RL)的流程模型生成质量的影响。研究者使用Llama 3.1 8B和Qwen 2.5 14B两个模型家族,在48种配置下训练,评估框架包含38个句法、语用和语义指标。实验发现RL能同时提升语用和句法质量,输出变异性降低6倍以上。等权重奖励始终优于定向加权,后者可能导致模型崩溃。设计选择与模型架构存在非平凡交互,例如无效惩罚对Llama 3.1必要但对Qwen 2.5无关。论文RLBPMNLlama 3.1Qwen 2.5流程模型推荐理由:想知道怎么给LLM设计奖励函数来提升生成质量?这篇论文用38个指标和两个模型做了系统对比,结论很具体。原文