13:37Jeremy Howard (fast.ai)@jeremyphowardJeremy Howard 提出一个减缓递归 AI 自我改进的简单方案:排名最高的模型实验室必须同意不使用该模型进行前沿 AI 研究,但其他所有人都可以访问它。这样,前沿就不会进步。该方案旨在防止 AI 快速自我改进带来的风险,同时保持开放访问。行业AI 安全递归自我改进前沿 AI开放访问Jeremy Howard1 个信源在谈推荐理由:关注 AI 安全的团队可以看看这个反直觉的思路——通过限制领先者而非封锁技术来减缓 AI 进化,值得讨论。原文
21:11rohanpaul_ai@rohanpaul_ai88°Anthropic 发表声明,呼吁建立全球机制来减缓前沿 AI 的发展,因为其自身模型可能正在接近递归自我改进的临界点——即系统能够在没有直接人类控制的情况下帮助构建更强的版本。未来模型在科研、实验、调试和训练设计方面将变得极其擅长,以至于人类不再是主要瓶颈。一旦这种循环启动,进展将从人类主导的工程转向机器辅助的改进,使得所有安全测试、法律和实验室政策都显得滞后。Anthropic 警告,这一跳跃可能在政府、公司和研究人员拥有可信的衡量或约束手段之前到来。验证是难点,因为大型 AI 训练比武器设施更容易隐藏,任何在他人暂停时秘密训练的实验室都可能获得领先优势。行业AI 安全递归自我改进Anthropic前沿 AI监管10 个信源在谈推荐理由:Anthropic 的警告直指 AI 安全的核心矛盾——递归自我改进可能让所有监管都来不及,做 AI 治理、模型安全或前沿研究的从业者值得认真读一读,这关系到行业未来几年的规则走向。原文
05:14Greg Brockman@gdbOpenAI 发布了一份关于前沿 AI 民主治理的蓝图,旨在推动美国建立持久的安全机构。该蓝图提出了一系列政策建议,包括建立 AI 安全框架、设立独立监管机构等。OpenAI 认为当前是 AI 安全政策的关键窗口期,美国应在前沿安全领域占据领先地位。此前,美国已发布关于网络安全的行政令,为 AI 安全政策奠定了基础。行业AI 治理AI 安全政策建议OpenAI前沿 AI10 个信源在谈推荐理由:这份蓝图直接回应了 AI 治理的核心难题——如何在创新与安全之间找到平衡,关注 AI 政策、安全治理的从业者和研究者值得细读,看看 OpenAI 提出的具体方案是否可行。原文