精选理由
论文实锤AI只会照搬历史
一篇arXiv论文(2601.22436)发现,当前LLM智能体系统存储过去任务时包含原始步骤历史或总结规则。研究者通过将正确提示替换为随机垃圾文本来测试记忆使用情况:当步骤历史被破坏时,AI表现显著下降;但当总结规则被破坏时,AI性能无变化。这表明AI并未真正应用抽象规则,而是依赖复制精确历史动作。
AI 翻译 · 中文
一篇arXiv论文(2601.22436)发现,当前LLM智能体系统存储过去任务时包含原始步骤历史或总结规则。研究者通过将正确提示替换为随机垃圾文本来测试记忆使用情况:当步骤历史被破坏时,AI表现显著下降;但当总结规则被破坏时,AI性能无变化。这表明AI并未真正应用抽象规则,而是依赖复制精确历史动作。
“If an AI cannot apply an abstract lesson to a new situation, it is not truly reasoning or learning”, new study with further evidence backing up what I have been saying for 25 years. cc @dwarkesh_sp Rohan Paul @rohanpaul…