精选理由
这项研究挑战了“人类推理基于抽象模型”的传统观点，对AI开发者和认知科学家都有启发——如果你关心LLM为何会犯“愚蠢”错误，或者想理解人类推理的底层机制，这篇论文值得一读。
该研究通过对比人类与25个大型语言模型在常识推理任务中的表现，发现两者在推理错误上存在相似模式。研究进一步识别出驱动LLM响应的注意力头，这些注意力头实现了模式匹配机制，并能预测人类因无关提示细节而产生的看似不合理的推理错误。结果表明，人类和LLM的日常因果推理更符合模式匹配而非抽象世界模型。
AI 翻译 · 中文
该研究通过对比人类与25个大型语言模型在常识推理任务中的表现，发现两者在推理错误上存在相似模式。研究进一步识别出驱动LLM响应的注意力头，这些注意力头实现了模式匹配机制，并能预测人类因无关提示细节而产生的看似不合理的推理错误。结果表明，人类和LLM的日常因果推理更符合模式匹配而非抽象世界模型。
When large language models (LLMs) fail to generalize or make haphazard errors in reasoning, it is often taken as evidence that LLMs are not truly reasoning, but rather performing a kind of pattern matching. The implicati…