精选理由
做复杂推理的AI研究者终于有了一个不依赖语义相似度的检索框架——RA-RFT让模型学会类比推理,数学基准提升显著,做RAG或强化微调的团队值得关注。
传统RAG基于语义相似度检索,不适合复杂推理任务:语义相似的问题可能解法不同,而表面不同的问题可能共享相同推理模式。RA-RFT提出一种后训练框架,通过黄金相关性蒸馏训练检索器,按预期推理收益而非语义重叠排序上下文,再用强化微调方法结合检索到的类比示例微调策略模型,使其学会利用推理轨迹。在数学推理基准上,RA-RFT持续优于标准强化微调方法,例如在AIME 2025上,对Qwen3-1.7B和Qwen3-4B分别提升7.1和2.8个点。这表明推理感知检索是独立于奖励设计或训练课程的改进维度。
AI 翻译 · 中文
传统RAG基于语义相似度检索,不适合复杂推理任务:语义相似的问题可能解法不同,而表面不同的问题可能共享相同推理模式。RA-RFT提出一种后训练框架,通过黄金相关性蒸馏训练检索器,按预期推理收益而非语义重叠排序上下文,再用强化微调方法结合检索到的类比示例微调策略模型,使其学会利用推理轨迹。在数学推理基准上,RA-RFT持续优于标准强化微调方法,例如在AIME 2025上,对Qwen3-1.7B和Qwen3-4B分别提升7.1和2.8个点。这表明推理感知检索是独立于奖励设计或训练课程的改进维度。
Retrieval-augmented generation (RAG) has become a standard mechanism for grounding language models in external knowledge, yet conventional retrieval based on lexical or semantic similarity is poorly suited for complex re…