陶哲轩把LLM的底层数学和核心矛盾说透了,做AI研究或对模型能力边界好奇的人看完会恍然大悟,建议点开原文感受顶级数学家的洞察。
菲尔兹奖得主、数学家陶哲轩在访谈中指出,当前大模型背后的数学原理其实非常简单,仅涉及线性代数、矩阵乘法和微积分,本科生就能完全掌握。然而,真正令人困惑的是模型行为不可预测:它们在某些任务上表现惊人,在另一些任务上却突然翻车,且无法提前预判。陶哲轩认为,核心原因在于现实世界的自然语言数据处于“部分有序、部分随机”的中间地带,而数学界对此区域的理论还很薄弱。这一“简单机制 vs 不可预测行为”的矛盾,是当前AI最核心的谜题。
讲真,这种言论只有真正牛的人才敢说啊! 本科生就可以来完成LLM的数学训练! Terence Ta…
讲真,这种言论只有真正牛的人才敢说啊! 本科生就可以来完成LLM的数学训练!
Terence Tao 最近在访谈里把 LLM 最核心的谜题直接说透了。
这位 Fields Medal 得主、数学界最高荣誉,被称作数学界诺贝尔奖,当代最顶尖的数学家之一,说:
今天大模型背后的数学其实非常简单。
线性代数、矩阵乘法,再加一点微积分,本科生就能完全掌握。
我们清楚知道怎么训练、怎么运行它们。
但真正让人困惑的是:为什么它们在某些任务上表现惊人,在另一些任务上却突然翻车,而且我们完全无法提前预测。
核心原因在于现实世界的数据,自然语言文本。
它既不是纯噪声,也不是完全结构化的数据,而是坐在“中间地带”:部分有序、部分随机。目前数学界对这个中间区域的理论还非常薄弱。
所以我们能造出强大的模型,却没法可靠预测它的能力边界。
这个“简单机制 vs 不可预测行为”的矛盾,才是当前 AI 最核心的 puzzle。
完整访谈视频在这里(Dr Brian Keating 频道)👇🏻: