精选理由
RiM 解决了自回归推理计算效率低的问题，做模型推理优化的研究者可以直接参考其两阶段训练方法。
论文提出 Reasoning in Memory (RiM) 方法，用固定内存块替代自回归生成推理步骤，让大模型在单次前向传播中完成潜在推理。该方法受人类工作记忆启发，通过两阶段课程训练：先预测显式推理步骤来锚定内存块，再丢弃步骤级监督直接优化最终答案。实验表明，RiM 在多个推理基准上匹配或超越现有潜在推理方法，且计算效率更高。这为提升大模型推理能力提供了新思路，尤其适合需要高效推理的场景。
AI 翻译 · 中文
论文提出 Reasoning in Memory (RiM) 方法，用固定内存块替代自回归生成推理步骤，让大模型在单次前向传播中完成潜在推理。该方法受人类工作记忆启发，通过两阶段课程训练：先预测显式推理步骤来锚定内存块，再丢弃步骤级监督直接优化最终答案。实验表明，RiM 在多个推理基准上匹配或超越现有潜在推理方法，且计算效率更高。这为提升大模型推理能力提供了新思路，尤其适合需要高效推理的场景。
To improve the reasoning capabilities of large language models, test-time compute is typically scaled by generating intermediate tokens before the final answer. However, this couples reasoning to autoregressive generatio…