纳德拉：企业应像防范内部风险一样防范 AI 模型

纳德拉：企业应该像防范内部风险一样防范 AI 模型 微软 CEO 纳德拉（Satya Nadella）的长文。他主张企业把 AI 模型当成“内部风险”来防范，像对待一个权限很大的员工那样，给它设身份、限权限、留记录，并且随时能叫停。 “内部风险”（insider risk）是安全行业的说法，指来自公司内部员工、承包商的风险。这些人手里有权限，可能恶意搞破坏，更常见的是操作失误，或者账号被人盗用。纳德拉认为模型也适用这套逻辑：它未必有恶意，但任何能力够强、又能碰到核心系统的角色，都可能出错或被攻破。 他的出发点是可追溯性。传统软件出了问题，工程师能顺着代码找到是哪一段导致的。大模型做不到这一点，没人说得清某个输出来自哪部分训练数据、哪组参数。可企业已经在让 AI 智能体读取最敏感的数据，替人执行关键操作，模型厂商的保证不能替企业承担责任。 方案可以概括为一句话：把“提供智能”和“管控智能”分开。模型负责干活，但它能访问什么、能做什么，由模型之外的系统决定，模型自己改不了。 这条原则在信息安全领域上世纪 70 年代就有了：程序不能绕过或篡改约束它权限的机制。放到今天，就是把模型、调度模型干活的外层程序、模型能执行的操作范围三者拆开，安全控制放在外面。 他也要求模型的思维链（模型给出答案前写出的推理过程）必须公开，不能拿“模型用人类看不懂的方式思考”当理由藏起来。但光看思维链还不够，因为目前没法保证模型写出来的推理就是它真实的思路。让模型互相检查也有局限：一个看不透的模型，被另一个看不透的模型盯着，等于黑箱套黑箱。 他列了七条原则： 1. 模型多样性：关键结果不能只依赖一个模型，也不能让模型检查自己的活。 2. 全程可观测：模型每个重要操作都要留下防篡改、人能看懂的记录，事后能复现过程，不靠模型自己作证。 3. 可验证：持续测试整个系统，包括失败、攻击、边界情况和系统变更，不能只测成功的任务。 4. 独立控制：企业能自己决定模型能访问什么、能执行什么操作。 5. 独立审计：审核要独立于被审核的模型，同一个模型不能既控制系统行为，又掌握判断这些行为是否合规的证据。 6. 隔离控制：默认模型已经被攻破，从一开始就把它关在边界里。授权的人随时能在任务中途暂停或关掉它，相当于紧急刹车。 7. 事故披露：出了问题要及时告知受影响的人，说明哪道防线失效了、以后怎么避免，并在全行业共享经验，包括那些会改变智能体运行时行为的实现细节。 对正在部署智能体的企业，这几条可以直接拿来对照：模型的权限由谁管，操作日志存在哪，出问题能不能立刻叫停，是不是只押了一家模型。 对开发者来说，权限控制和审计日志要写进智能体外层的程序里，靠提示词约束模型行为是不够的。 微软自己的 Copilot 和 Azure 都接入了 OpenAI、Anthropic 等多家模型，“模型多样性”这条和它的做法一致。 纳德拉最后的总结写挺好：“最值得信任的超级智能系统，是那个让我们可以最不信任模型的系统。” Satya Nadella @satyanadella x.com/i/article/2108… 🔗 View Quoted Tweet 💬 25 🔄 0 ❤️ 17 👀 4779 📊 18 ⚡