行业多源确认78°

Anthropic 与 OpenAI 共同承诺引入第三方评估者,Cohere 与 HuggingFace 提出不同方案

我看到了什么 ?Sam Altman 和 Dario Amodei 居然梦幻联动,还形成了统一战线 ?? 起因是 Anthropic 创始人 Dario Amodei 发表了「We Must Pac...

精选理由

Sam Altman 和 Dario Amodei 这两位 AI 领域的重量级人物,居然站在一起,共同提出要放慢 AI 发展速度,还承诺让第三方有员工级别的权限来检查他们的系统,这事儿挺有意思的。

Anthropic 的 Dario Amodei 发表声明,主张 AI 行业应放缓前沿模型开发速度,并提出允许第三方评估者获得永久、员工级别的系统访问权限。OpenAI 的 Sam Altman 随即附和,称“控制前沿节奏”是近期内部讨论的核心议题,并承诺同样引入“具有员工级访问权限的独立评估者”。Cohere 的创始人认为此方案存在合规成本问题、监管裁量权问题以及竞争格局问题。HuggingFace 的创始人则宣布发起 Open Alignment Initiative 并申请加入该计划。

原文 · shao__meng

我看到了什么 ?Sam Altman 和 Dario Amodei 居然梦幻联动,还形成了统一战线 ?? 起因是 Anthropic 创始人 Dario Amodei 发表了「We Must Pac...

我看到了什么 ?Sam Altman 和 Dario Amodei 居然梦幻联动,还形成了统一战线 ?? 起因是 Anthropic 创始人 Dario Amodei 发表了「We Must Pace the Frontier」,主张 AI 行业应放缓前沿模型的开发速度,并提出三部分计划。作为第一步,Anthropic 单方面承诺:允许第三方评估者获得永久、员工级别的系统访问权限,以核查安全措施、报告事故、评估训练过程中的模型对齐情况。 OpenAI 创始人 Sam Altman 随即附和,称“控制前沿节奏”是 OpenAI 近期内部讨论的核心议题,并承诺同样引入“具有员工级访问权限的独立评估者”。 但 Cohere 创始人 @aidangomez 显然不认同,他讽刺 A O 两家是“垄断联盟”,他指出三个问题: 1. “员工级访问整个运营”,指向合规成本问题:深度接受第三方审计需要投入大量资源,头部实验室负担得起,中小公司则可能被排除在竞争之外。 2. “不够‘安全’就关停你”,指向监管裁量权问题:安全标准若由少数机构解释和执行,实质上赋予了它们否决竞争对手的权力。 3. “中国不会遵守,但其他人必须遵守,否则没芯片”,指向竞争格局问题:Gomez 是加拿大人、Cohere 是加拿大公司。他的意思是,这类规则靠芯片出口管制强制执行,覆盖的是美国及其盟友的企业,而中国并不受约束,结果是自我设限的玩家与不受约束的玩家同场竞技。 x.com/aidangomez/sta… HuggingFace 创始人 @ClementDelangue 的回应更直接: 看似在附和 Dario“对齐很关键”,实则对 A 社釜底抽薪 😃 他先公开承认风险成立,随即断言这个问题“不可能在少数前沿实验室的闭门会议里解决”,并宣布发起 Open Alignment Initiative、同时申请加入 Dario 刚承诺的“嵌入式评估者”计划。 这一申请把 Anthropic 逼入两难: · 批准,则最尖锐的批评者带着开源基因进入内部,此后再拒绝任何申请者都失去理由,“第三方”名单脱离控制; · 拒绝,则当场证明所谓“第三方评估者”实为“经批准的第三方”。 x.com/ClementDelangu… M Sam Altman @sama I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we've had at OpenAI in recent weeks. Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We'll have more to share soon. 🔗 View Quoted Tweet 💬 0 🔄 0 ❤️ 0 👀 76 ⚡

  • IT之家09-12 07:23原文
  • Decoder09-12 15:03原文
  • theverge09-12 16:23原文
  • Gary Marcus09-12 23:42原文
  • The Business Times: Tech09-11 01:38原文
  • Dario Amodei09-12 14:01原文
  • Amjad Masad09-12 17:37原文
  • VnExpress Số hóa09-11 07:36原文
  • Rappler: Technology09-11 08:04原文
  • Rest of World09-11 10:00原文