组合推理相关 AI 资讯 · AI 热点

7月9日

09:34

09:34

官方账号arXiv cs.AI@Azwar Abdulsalam, Nishil Patel, Andrew Saxe

论文在可观测的符号重写语法环境中研究RL后训练能否组合原始技能。Transformer在原始符号重写链上预训练，后通过二元最终答案奖励的Trace推理任务进行RL训练。RL能解决预训练模型即使加大采样预算也极少解决的难题，而拒绝微调早期有提升但随后停滞。Trace分析显示RL通过阶段性组合机制：先强化原始缩减，再发现有效组合过程，包括顺序组合和并行组合。对比表明RL相较于拒绝微调的关键差异不在于探索量，而在于选择性——RL将探索聚焦于有效可复用结构。

论文 Transformer RL rejection fine-tuning 组合推理强化学习

推荐理由：这篇论文用可控实验证明了RL后训练能从头组合出高级推理策略，不是只增强已有技能，对理解强化学习训练机制很有启发。

6月12日

11:25

11:25

官方账号arXiv cs.LG@Nathaniel Bottman, Yinhong Liu, Kyle Richardson

精选

论文提出一种名为Operadic Consistency（OC）的新方法，用于在无真实标签的情况下检测大语言模型的推理失败。OC基于操作理论，通过比较模型对组合问题的直接回答与分解后组合回答的一致性，生成每个问题的置信度信号。在12个指令微调模型（4B到671B参数）和4个多跳QA数据集上，OC与准确率的皮尔逊相关系数达0.86-0.94，且在所有数据集上均优于链式思维自一致性（CoT-SC）和语义熵等基线。在选择性预测任务中，OC在固定覆盖率下显著提升准确率，AUARC提升0.086-0.096，AUROC提升0.092-0.164。该方法无需标注数据，为LLM推理可靠性提供了一种高效、通用的诊断工具。

论文推理模型组合推理置信度评估无标签检测操作理论

推荐理由：做LLM推理评估的团队终于有了一个无需标签就能检测组合推理失败的新工具——Operadic Consistency在多个数据集上表现稳定，比CoT-SC更可靠，建议关注这个方向。