Anthropic 可解释性研究员分享 LLM 内部机制研究七点发现

Anthropic 可解释性研究员 Emmanuel 分享对 LLM 内部机制的研究发现。团队发现模型在写诗时第一行结束后就已选定第二行结尾的词（如“rabbit”），说明 LLM 会提前规划而非逐词随机。实验显示模型只能报告内部表征的一小部分（J 空间）：把 J 空间中的“Spanish”换成“French”后，模型自称在写法语，实际继续输出西班牙语。Emmanuel 认为可解释性研究更接近神经科学，且越深入研究越不确定模型的运作方式。