行业精选78°

Databricks CEO 认为AI生存风险接近零,漏洞武器化已缩至小时级

Databricks CEO 判断 AI 生存风险接近零|RSI 四条件检验全部落空、漏洞武器化已缩至小时级、90% 代码由 AI 编写、企业真正的瓶颈是缺失“组织本体” 来自 Databrick...

精选理由

Databricks CEO Ali Ghodsi 说,AI生存风险接近零,漏洞武器化已缩至小时级,企业瓶颈是缺少“组织本体”,这些观点很具体,不像那些吓人的说法。

Databricks CEO Ali Ghodsi 在访谈中表示,AI的生存风险“接近零”,因为“递归自我改进(RSI)”的四条件检验全部落空。他提到,CVE漏洞从公布到被武器化的时间已从数年缩短至“小时级”。他认为企业真正的瓶颈不是模型不够聪明,而是缺少“组织本体”来提供上下文。

原文 · shao__meng

Databricks CEO 判断 AI 生存风险接近零|RSI 四条件检验全部落空、漏洞武器化已缩至小时级、90% 代码由 AI 编写、企业真正的瓶颈是缺失“组织本体” 来自 Databrick...

Databricks CEO 判断 AI 生存风险接近零|RSI 四条件检验全部落空、漏洞武器化已缩至小时级、90% 代码由 AI 编写、企业真正的瓶颈是缺失“组织本体” 来自 Databricks 联创兼 CEO @alighodsi 做客 a16z 播客,与合伙人 @martin_casado 、 @sarahdingwang 的 67 分钟对谈。 # 核心立场:别再吓唬公众,生存风险“接近零” Ali 开篇就表明立场:领导者有责任不必要地不吓唬公众,除非有真正充分的理由。他认为当下 AI 的生存风险“接近零”,而反复对大众宣讲“10% 概率人类灭亡”会造成真实伤害,他的判断依据是心理健康的实际代价和恐慌的外溢效应。 Martin 补充了一个生动注脚:他在亚利桑那 rural 地区当小学老师的姐姐周日发短信问他“要不要帮你把小屋准备好避 AI 末日?水我已经储好了”。恐慌已经渗透到完全不懂技术细节的普通人群中。两人还指出,这种恐慌正在被政治机器利用(如 Warren 呼吁暂停 AI 开发、Bernie 与 Bannon 的联盟),可能催生与初衷相反的重监管。 但要区分:Ali 否定的是“生存风险”,不是所有风险。 他认为真正紧迫的威胁是 AI 驱动的网络攻击,这是全文反复出现的论点。 # 对 "Pacing" 话语的批评:一场公关失误 来自 Martin 的分析。他认为 Anthropic CEO Dario 所写的文件内容其实“完全合理”,但把它框定在“为前沿控速”(pacing the frontier)这个词上是一步公关臭棋,理由有三: 1. 控速与安全正交:“你可以慢慢地造一件武器,那和快快地造没有区别”。安全是工程问题,不是速度问题; 2. 没有可信度:这些公司一直在全速狂奔、还在买更多算力; 3. 落入了“恐怖谷”:末日论者嫌它不是真正的暂停,务实派觉得它不真诚,两边都不买账。 他点出正确的说法本应是“保障前沿”。Hugging Face/OpenAI 的安全事件就是例证:正确结论是“做好安全控制”,而非“应该放慢速度”。 Ali 则从商业角度补充了“公地悲剧”逻辑:没有实验室会单方面减速,有 IPO、有竞争、有人际恩怨,“我为什么要先停?我会成为冤大头”。所以“求政府来管我们”某种意义上是求一个强制性的集体减速机制。 # 判断 RSI 的四条标准 针对“递归自我改进(RSI)是否正在发生”这一恐慌源头,Ali 提出了一个可证伪的四条件检验——必须四条同时成立: 1. 下一代模型训练所需算力资源大幅下降; 2. 训练所需时间缩短; 3. 模型智能/准确率继续上升; 4. 以上三条可以循环往复地持续发生。 他的结论:现实与四条全部相反。前沿模型训练成本已从约 1 亿美元涨到 50-100 亿美元,参与人数更多、流程更脆弱(数据中心、网络、容错的工程复杂度都在指数上升)、一年只有一两次这种训练,且已有多起训练失败的案例。 Martin 补充了关键的概念辨析:今天大家说的"RSI"90% 其实是“自催化效应”;用 AI 写 GPU kernel、做数据清洗,就像用计算机设计计算机、编译器编译编译器、蒸汽机、互联网一样,是所有通用技术的常态,而非通向超级智能的证据。(Ali 透露:Databricks 目前约 90% 以上的代码由 AI 编写。) Martin 还给出了自己的“黑盒外部检验”:如果这些实验室人员越来越少、投入越来越少、产出却越来越快,那才真的出事了。而现实是它们在疯狂招人。 # 真正的近期风险:AI 网络攻击 Ali 给出的数据:CVE 漏洞公布到被实际武器化的时间,从 2018-19 年的 2-3 年,压缩到 2022 年的 8-9 个月,如今已缩短到以“小时”计。 他判断“数据/AI 市场”与“网络安全市场”正在融合:企业内部 agent 产生海量日志和行为轨迹,分析规模比两三年前大了多个数量级;传统 SOC(安全运营中心)的人力模式已彻底跟不上,必须转向代理驱动的自动化检测与自动化威胁狩猎。银行等高敏感机构在做,但大多数企业还差得很远。他的原话:“人类对正在发生的攻击的反应速度不够快,你必须全自动化。” Martin 提出尖锐反问:为什么早期互联网时代蠕虫已造成医院瘫痪、数百亿美元损失,而 AI 至今没有同量级的网络灾难?Ali 的回答是:这是一场攻防竞赛,防御方(包括 Databricks 的 LakeWatch 检测产品)正在全速冲刺,但这恰恰说明“不能躺平当作没事”。 # 企业落地的真正瓶颈:不是模型不够聪明,而是缺失“上下文” 这是对企业听众最有实操价值的部分。Ali 的核心观察: 大多数企业用 AI 的现状 = “一个 glorified 的谷歌搜索”+ 写代码。没有任何 whole-enterprise 级的代理自动化。原因不是模型不够聪明,是模型没有组织的上下文。它没参加过每一次会议,不知道决策如何做出,不知道那些“一旦离职公司就要慌”的老员工脑子里装的东西。 解决方案是他反复强调的 Ontology(本体/知识图谱): · 定义:组织中所有抽象概念、目标、部门、人员、项目之间的关系网络——本质上是“入职第一天的员工”与“干了五年的老员工”之间的差距; · 实现路径:先把组织数字化(会议转录、内容采集——这本身就有法务合规障碍),再蒸馏成一张数字图谱喂给 AI; · 关键类比:今天 agent 逐个调用 MCP 服务器检索的方式,就像谷歌当年不建索引、每次搜索实时爬十个网页再总结;又贵又慢质量又差。Ontology 就是企业版的“离线计算的 PageRank 索引”,但要难得多,因为涉及权限、访问控制、异构对象。 Databricks 自己是最大样板:他们自建了客户中最大的 ontology(数百万节点的图谱),公司运营方式“一年内彻底改变”。他讲了一个董事会前的段子:想知道财富 500 强渗透率,先问销售运营负责人(对方说在飞机上登不了 Genie),再问 CFO,CFO 直接回了一张 Genie 截图。现在公司内部流行语是 "can you just Genie this"。 # 成本管理与“多模型 + 多 harness”时代 Ali 分享了 Databricks 的完整控费实践(对“token maxing → value maxing”浪潮的回应): · 起点戏剧化:CEO 本人用模型向生产环境提交代码,然后以此施压全员;“如果 CEO 能在这个安全要求极高的数据平台 commit 代码,你也可以”; · 通过 Unity Gateway 做预算约束、用量预警、成本预测分析、智能路由(简单问题自动切便宜模型); · 一个反直觉发现:同一个模型,换不同 harness(工程脚手架),成本差近 2 倍; · 结果:token 用量持续上升,总成本持平;“弯折了成本曲线”。 Sarah 提供了市场信号:她所在的 20 多个董事会中,首次有大规模企业宣布从前沿模型迁移到 GLM(开源便宜模型)。正在成形的模式是分层用模:贵模型做架构设计与审计、便宜模型做实现。开源占比数据:按金额约 5%,按 token 量已超 60%;初创公司面向产品的场景甚至接近 90% 开源。而企业自训模型的最大障碍是做 eval(评估)太难;Ali 类比为 TDD:人人都说是正道,实践中几乎没人做。 # Agent 正在重塑基础设施本身 最后一段讨论 Databricks 收购的 Neon/Lakebase 为何在第三方测试中成为“Agent 首选的 Postgres 数据库”: · 团队的执念不是赢数据库战争,而是“如何成为对 agent 最好的数据库”,一个全新 persona(此前行业只为 DBA 和应用开发者优化); · 具体能力:亚秒级建库、巨型数据库亚秒级克隆、branching(分支)、故障安全、对实验场景友好的计价; · 结果:90% 以上的数据库实例由 agent 而非人类创建。 这印证了那句行业判断:“赢得 agent,就赢得市场。” a16z @a16z Databricks' @alighodsi on AI risk and adoption: Ali isn't losing sleep over the existential risk debate. He says a number of conditions would all have to be true simultaneously to enable an actual runaway takeoff scenario, and currently several opposite conditions exist. Each frontier training run requires significantly more resources. Power, GPUs, engineers - and some attempts fail, burning up huge piles of money with them. Until that reverses, he doesn't see the self-improving loop happening. Cyber is what he's watching most closely and where he anticipates real impact. Most orgs are not equipped for the coming change in agentic capabilities. The time between a vulnerability being published and being weaponized has collapsed from years to hours. On adoption, he believes most companies don't need a smarter model. The models are already smart enough. The gap is context they don't absorb - the things an employee who's worked at a company for five years learned by osmosis. If the frontier stopped advancing today, he thinks it wouldn't meaningfully change the value most are extracting from AI anyway. In conversation with a16z's Martin Casado and Sarah Wang: 00:00 Intro 00:48 Why Ali places the AI risk near zero 05:05 The word "pacing" was a mistake 10:50 What 10k agents and $100m can do 12:20 What would change his mind on AI risk 14:20 More GPUs, more ways to fail 18:05 US export controls on PlayStations 20:10 The damage everyone expected by now 24:30 Public vulnerabilities weaponized in hours 30:15 Why labs can't grade each other 37:15 Why most of RSI isn't actually RSI 40:05 Why nobody really needs a smarter model 41:50 The AI use cases nobody argues about 47:30 Google Search solved this 25 years ago 50:55 Nobody has privileged knowledge now 55:10 Same model, new harness, 2x cost 58:15 Open source: 5% of spend, 60% of tokens 1:05:30 90% of new databases are created by agents YouTube: youtu.be/GzEtpAKYRvE @databricks @martin_casado @sarahdingwang Your browser does not support the video tag. 🔗 View on Twitter 🔗 View Quoted Tweet 💬 2 🔄 0 ❤️ 1 👀 532 📊 2 ⚡