10:10arXiv cs.AI@Bo Yin, Xiaobin Hu, Chengming Xu, Ruolin Shen, Mo Yang, Jiangning Zhang, Peng-Tao Jiang, Cheng Tan, Shuicheng YANSPOT-E方法针对视觉语言模型在处理证据密集型任务时因小区域视觉证据被忽略导致的读取失败问题。该方法利用答案跨度预测熵作为模型内部反馈,通过低熵锚点和熵整形目标消除歧义,避免模型陷入捷径塌缩。SPOT-E基于GRPO进行每实例轻量级调优,生成问题条件化的聚光灯。在多个VLM族和基准测试中,SPOT-E一致提升了性能并增强了视觉损坏鲁棒性。代码已开源。论文SPOT-EVLMGRPO多模态测试时优化推荐理由:SPOT-E这个新方法挺有意思,它不重训模型,只在推理时搞了个视觉聚光灯和熵整形,就让VLM在那些需要细看局部证据的任务上表现好多了。尤其用GRPO调优,效果提升还挺稳定。原文
11:28arXiv cs.AI@Zhiyuan Zhou, Andy Peng, Charles Xu, Qiyang Li, Tobias Springenberg, Kevin Frans, Sergey Levine精选强化学习中的扩散/流模型策略虽在模仿学习中表现出色,但整合到RL训练中常因稳定性问题而受限。本文提出QGF(Q-Guided Flow),一种仅在测试时进行策略优化的RL算法。它预训练一个参考流策略(通过行为克隆)和一个价值函数,在测试时利用价值梯度引导参考策略生成更高价值的动作,无需额外策略学习。实验表明,QGF在离线RL基准上优于现有测试时方法,与最先进的训练时算法性能相当且计算成本更低,且随模型规模扩展表现良好。论文强化学习流模型测试时优化QGF离线RL推荐理由:做机器人控制或连续控制RL的团队,如果受困于扩散/流模型训练的不稳定性,QGF提供了一种“训练照旧、测试优化”的实用方案,值得一试。原文