Jeremy Howard 谈 AI 递归自我改进:顶级实验室应放弃使用自家模型

Quoting Jeremy Howard

精选理由

Jeremy Howard 的提议直击 AI 安全与权力分配的核心矛盾,关注 AI 伦理的从业者、政策制定者和开源社区成员值得一读,看完会重新思考“安全”与“开放”的平衡。

AI 摘要

Jeremy Howard 在 Twitter 上提出一个解决 AI 递归自我改进速度问题的简单方案:排名最高的实验室必须同意不使用其顶级模型进行前沿 AI 研究,但其他所有人应能访问该模型。他认为这能阻止前沿推进,并避免危险的力量失衡。他批评 Anthropic 选择了相反的安全路径——允许自己(当前顶级实验室)使用顶级模型进行前沿研究,并破坏他人的尝试,这导致 AI 前沿推进且力量失衡加剧。Howard 明确表示自己并不主张放缓递归自我改进,而是主张尽可能开放和民主化。

AI 翻译 · 中文

Jeremy Howard 在 Twitter 上提出一个解决 AI 递归自我改进速度问题的简单方案:排名最高的实验室必须同意不使用其顶级模型进行前沿 AI 研究,但其他所有人应能访问该模型。他认为这能阻止前沿推进,并避免危险的力量失衡。他批评 Anthropic 选择了相反的安全路径——允许自己(当前顶级实验室)使用顶级模型进行前沿研究,并破坏他人的尝试,这导致 AI 前沿推进且力量失衡加剧。Howard 明确表示自己并不主张放缓递归自我改进,而是主张尽可能开放和民主化。

Simon Willison’s WeblogEasy solution to slow down recursive AI self improvement: The lab with the top-ranked model must agree THEY must not use it for working on frontier AI But everyone else should have access to it. By definition, this means