10:05官方账号arXiv cs.LG@Alexander Rombach, Chantale Lauer, Nijat Mehdiyev这篇论文研究了奖励函数设计对基于强化学习(RL)的流程模型生成质量的影响。研究者使用Llama 3.1 8B和Qwen 2.5 14B两个模型家族,在48种配置下训练,评估框架包含38个句法、语用和语义指标。实验发现RL能同时提升语用和句法质量,输出变异性降低6倍以上。等权重奖励始终优于定向加权,后者可能导致模型崩溃。设计选择与模型架构存在非平凡交互,例如无效惩罚对Llama 3.1必要但对Qwen 2.5无关。论文RLBPMNLlama 3.1Qwen 2.5流程模型推荐理由:想知道怎么给LLM设计奖励函数来提升生成质量?这篇论文用38个指标和两个模型做了系统对比,结论很具体。原文
11:57官方账号arXiv cs.LG@Thomas Winninger论文提出RFM-AGOP方法,通过适应RFM算法和探针初始化,在数秒内从推理模型Qwen 3和非推理模型Qwen 2.5中提取多维拒绝子空间。该方法在消融任务上表现优于现有方法,且计算成本较低。研究为LLM安全对齐提供了高效可扩展的监控手段。论文RFM-AGOPQwen 3Qwen 2.5AI安全可解释性推荐理由:想低成本搞懂LLM拒绝行为?这篇论文用RFM-AGOP几秒就定位到多维子空间,比传统方法快还准。原文