Anthropic CEO亲自解释了为啥不签那个支持开源AI的公开信,核心观点是安全测试比开放权重更重要,别错过这个关键立场。
20多家公司签署支持开放权重AI的公开信,包括英伟达、Meta、微软、OpenAI、谷歌等,但Anthropic未签署遭批评。CEO Dario Amodei发文澄清,称公司从未主张禁止开放权重模型,但认为不应假设开放权重更安全,需通过发布前测试验证。他支持严厉打击工业规模蒸馏操作,并要求所有模型接受强制安全测试。Amodei举例称,强大模型可能利用现成材料快速制造杀伤力病毒,防御需多年,因此安全测试至关重要。
Anthropic 迟迟不签公开信成“众矢之的”,CEO Dario Amodei 解释称公司从未主张禁止开源 AI 模型
IT之家 7 月 28 日消息,近期关于 AI 是否要开放权重(Open-weight)的话题成为行业讨论焦点。 上周五,包括英伟达、Meta 和微软在内的 20 多家公司共同签署了题为《 开放权重与美国 AI 领导力 》(Open Weights and American AI Leadership)的公开信,支持开放权重 AI。 到了周末,OpenAI、谷歌和 SpaceX 也签署了这封信。 Anthropic 则一直保持沉默,遭到同行批评 。 今天,Anthropic 的 CEO Dario Amodei 终于坐不住了,在官方发布一篇《我们对开放权重模型的立场》的文章,表示许多科技公司签署了支持开放权重模型的声明,甚至有人指责 Anthropic 试图通过禁止开放权重模型来保护自己的业务利益。“任何读过我以往文章的人都应该明白,我并不认为这种禁令是一种有效的措施。不过,我要明确地说, Anthropic 从未主张过对开放权重模型的禁令 。” Dario Amodei 表示,那些没有危险功能的开放权重模型是一种公共资产:它们除了运行所需的计算资源外不会造成任何成本,同时还能为企业、开发者以及研究人员带来价值。 Dario Amodei 认为,保护主义禁令无法解决他最为关心的国家安全问题。 他倡导严厉打击工业规模的蒸馏操作,并且无论是开源还是闭源模型都应该接受强制性的安全测试 。 Dario Amodei 表示他同意公开信中的大部分观点,但不认同信中提出的部分观点,即开放权重模型必然更容易实现防护措施,或者广泛获取能力会让防御者比攻击者更有优势。 在他看来,情况可能恰恰相反 。 IT之家注意到,Dario Amodei 举了一个例子来表达他的担忧,类似于生物学领域会出现明显的攻防不对称现象:那些能力强大的模型或许能够利用现成的材料快速制造出具有大规模杀伤力的病毒,而针对这些病毒的防御则是一项需要多年时间才能完成的任务。 Dario Amodei 认为, 这类问题应该通过严格的发布前测试来加以验证 ,而不是事先就做出假设。