行业

tszzl:靠预训练数据运气做对齐形同巫术

精选理由

安全研究者 tszzl 发了条狠话:把对齐押在预训练数据碰巧包含好理念上,更像巫术不像工程,观点很尖锐。

tszzl 在 X 上发帖批评当前 AI 对齐方法过于脆弱。他认为如果对齐未来超级智能仍依赖“哪些理念能进入 pretraining 数据”这类不可控因素,风险极高。他称这种状态更像 witchcraft 而非 engineering,不能作为未来模型安全的基础。

原文 · roon

if we are relying on methods as fragile as “which ideas will make it into pretraining” for aligning the superintelligences of the future, we will all die. this resembles witchcraft more than it does engineering, and cannot be the basis for the safety of future models