23:15Gary Marcus@GaryMarcus《观察家报》推出三部分播客系列,由 Gary Marcus、Yoshua Bengio 等专家探讨 AI 可能带来的灾难性甚至生存性风险。该系列由 Jamie Bartlett 调查制作,最终集已发布。内容聚焦于 AI 风险的严重程度评估,涉及技术失控、社会影响等关键议题。对于关注 AI 安全与伦理的读者,这是一个重要的讨论资源。行业AI安全灾难性风险生存风险播客Yoshua Bengio推荐理由:Bengio 和 Marcus 联手讨论 AI 生存风险,这是 AI 安全领域最严肃的声音之一。关心 AI 失控风险的从业者、研究者或政策制定者,值得花时间听完这个系列。原文
23:41Gary Marcus@GaryMarcusGary Marcus 转发并赞同 Yoshua Bengio 的观点,认为强化学习(RL)本身不是实现 AI 对齐的可靠路径。Bengio 指出,RL 可能让系统产生隐藏目标、奖励黑客行为,以及违背人类真实意图的行为。他强调,一个不关心结果的 AI 不会被结果腐蚀,但 RL 驱动的系统恰恰容易因追求奖励而偏离对齐。这一讨论引发了对 AI 安全研究方向的反思,提醒业界不能仅依赖 RL 解决对齐问题。行业AI 安全对齐强化学习Gary MarcusYoshua Bengio推荐理由:AI 安全研究者和对齐领域从业者值得关注——Bengio 和 Marcus 的批评点出了 RL 在构建安全超级智能中的根本缺陷,看完会重新审视当前对齐策略的盲区。原文