精选理由
这篇论文把AI自我改进的各种文献梳理得特别清楚，区分了“有界自优化”和真正的“递归自我改进”，还画出了验证强度层级，读完对AI安全风险理解更深。
该论文调查了2024-2026年间1250篇arXiv论文，沿两个轴分类：系统改进的对象（行为、策略、评估器、研究过程）和循环闭合程度。它将有界自优化（收敛、可评估、已成工业实践）与开放端递归自我改进（RSI）区分开，后者在所有可测维度上受制于基础、崩溃动态和计算约束。论文提出评估器设计空间，将信号从形式验证器（最强）到内在自我评估（最弱）排序，并证明自我改进强度与验证层级相关。失败模式如自确认循环、模型崩溃和多样性崩溃源于违反该层级，而保持人类在环中的“研究方向设定”瓶颈位于该层级顶端。
AI 翻译 · 中文
该论文调查了2024-2026年间1250篇arXiv论文，沿两个轴分类：系统改进的对象（行为、策略、评估器、研究过程）和循环闭合程度。它将有界自优化（收敛、可评估、已成工业实践）与开放端递归自我改进（RSI）区分开，后者在所有可测维度上受制于基础、崩溃动态和计算约束。论文提出评估器设计空间，将信号从形式验证器（最强）到内在自我评估（最弱）排序，并证明自我改进强度与验证层级相关。失败模式如自确认循环、模型崩溃和多样性崩溃源于违反该层级，而保持人类在环中的“研究方向设定”瓶颈位于该层级顶端。
AI systems increasingly participate in their own improvement: revising their outputs, adapting their own harnesses during deployment, training on data they generate, and, increasingly, conducting AI research itself. This…