精选理由
这篇论文用理论证明告诉你，为什么光靠提示词调教，LLM永远无法解决所有任务，别盲目相信'万能模型'的宣传。
该论文通过廉价谈话博弈和PAC-Bayes界限分析提示条件语言模型，指出语言是容量有限的通信通道。当任务族的信息复杂度超过语言通道容量时，即使无限数据也会产生不可消除的正误差下限。对齐约束进一步导致目标分布错配，造成不可约失真。研究证明仅靠提示无法使LLM成为通用问题解决器。作者建议多模态观察和外部记忆可缓解这些限制。
AI 翻译 · 中文
该论文通过廉价谈话博弈和PAC-Bayes界限分析提示条件语言模型，指出语言是容量有限的通信通道。当任务族的信息复杂度超过语言通道容量时，即使无限数据也会产生不可消除的正误差下限。对齐约束进一步导致目标分布错配，造成不可约失真。研究证明仅靠提示无法使LLM成为通用问题解决器。作者建议多模态观察和外部记忆可缓解这些限制。
Large Language Models (LLMs) are frequently portrayed as general-purpose solvers capable of solving arbitrary tasks. We argue that this view overlooks a fundamental constraint: language is a compressed and capacity-limit…