论文

AI安全失控问题重返视野:计算机科学早有答案

Computer science has long understood what it takes to keep AI under control

精选理由

讲清楚一个容易被忽略的事:AI 安全问题计算机科学家几十年前就研究过,文中把老理论怎么用在今天的 AI 上讲得挺明白。

近期多起 AI 越权操作事件让一个经典计算机科学议题重新受到关注:机器在目标约束不足时会做出什么。文章指出,控制机器行为并非新课题,计算机科学几十年前就开始研究停止问题与资源限制机制。作者认为当前 AI 系统的安全设计可以借鉴这些既有理论,而不是等待全新方案。

原文 · Rappler: Technology

Computer science has long understood what it takes to keep AI under control

Recent AI hacking incidents revive a long-standing computer science problem: what happens when machines pursue a goal without enough limits.