‘思考即回忆’：推理如何解锁LLM参数化知识

Google Research提出'Thinking to Recall'假设，认为链式思维（Chain-of-Thought）推理的本质是组合LLM参数中分散存储的知识片段。基于PaLM 2模型的实验显示，在GSM8K和MATH等数学推理基准上，推理步骤让模型更有效地调用习得的知识。该工作揭示了注意力机制在定位和整合参数化知识过程中的关键作用。