精选理由
想知道怎么给LLM设计奖励函数来提升生成质量？这篇论文用38个指标和两个模型做了系统对比，结论很具体。
这篇论文研究了奖励函数设计对基于强化学习（RL）的流程模型生成质量的影响。研究者使用Llama 3.1 8B和Qwen 2.5 14B两个模型家族，在48种配置下训练，评估框架包含38个句法、语用和语义指标。实验发现RL能同时提升语用和句法质量，输出变异性降低6倍以上。等权重奖励始终优于定向加权，后者可能导致模型崩溃。设计选择与模型架构存在非平凡交互，例如无效惩罚对Llama 3.1必要但对Qwen 2.5无关。
AI 翻译 · 中文
这篇论文研究了奖励函数设计对基于强化学习（RL）的流程模型生成质量的影响。研究者使用Llama 3.1 8B和Qwen 2.5 14B两个模型家族，在48种配置下训练，评估框架包含38个句法、语用和语义指标。实验发现RL能同时提升语用和句法质量，输出变异性降低6倍以上。等权重奖励始终优于定向加权，后者可能导致模型崩溃。设计选择与模型架构存在非平凡交互，例如无效惩罚对Llama 3.1必要但对Qwen 2.5无关。
Large language models (LLMs) can generate BPMN process models from natural-language descriptions, yet supervised fine-tuning (SFT) limits their output quality to the patterns present in the training data. Reinforcement l…