RSI-Exam测试了LLM自演化能力，Claude和GPT表现优异，值得一看。
RSI-Exam量化RSI基准，测试智能体通过自主实验改进方法，覆盖6大领域88项任务，Claude和GPT表现突出，仍有改进空间。
都说 LLM 通过自演化 (RSI) 在不断变强，是真的吗？到底变强了多少呢？ RSI-Exam (https://t.co/5Z95CjQyg9) 在做的就是量化 RSI 的 benchmark，...
都说 LLM 通过自演化 (RSI) 在不断变强，是真的吗？到底变强了多少呢？ RSI-Exam ( rsi-exam.ai ) 在做的就是量化 RSI 的 benchmark，给出一个有界但严格可操作的定义： · 它不测模型修改自身权重（那是无限制 RSI，目前既不现实也难以安全评估）； · 它测的是：智能体能否通过持续数小时的自主实验，改进一个"可执行的工作产物"——要么是直接解决问题的方法，要么是驱动一个冻结模型的 harness； · 改进是否真实，由隐藏测试集上的一次性重跑来裁决。 基准设计：几个关键的工程与方法论决策 1. 从弱基线出发，而非空仓库。 每个任务附带一个可运行但有明确改进空间的起始方法（如只用嵌套循环连接的查询优化器），智能体须诊断并改进现有方案——更接近真实研究。 2. 双容器隔离 + 隐藏集重跑（核心防伪设计）。 智能体只能在可见数据上迭代；最终 artifact 移交密封离线的验证容器，在隐藏数据上原样重跑定分，禁止联网与重训练。以此把"可泛化的改进"与"开发集过拟合"分开——官网直言："可见集登顶不等于改进"。 3. 锚点归一化评分。 0 = 继承基线，0.6 = 前沿参考（强方法经同一验证器实测校准），1.0 = 理论上界（无有限上界时用指数尾部逼近），发布前冻结。 4. 四道生产工序。 40+ 领域专家出题 → 开发者实现 → 90+ 项清单交叉评审（含数据版权与一切泄漏路径）→ 完整智能体轨迹复审；试点智能体已能解决的任务直接剔除。最终 88 题（35 公开 + 53 私有）。 5. 覆盖 6 大领域。 物理科学与工程 19、AI 模型与智能体 18、优化规划与控制 18、系统与硬件 13、生命科学与医学 12、金融法律与商业 8；从 TPU 内核优化到蛋白质共折叠，覆盖面明显广于同期只测单一环节的 RSI 基准（AI4AI-Bench、RSIBench-Data）。 总排行榜（88 任务均值，单次运行） 1. Opus 5 · Claude Code (max) 0.464 2. GPT-5.6-sol · Codex (max) 0.433 3. GLM 5.3 · Claude Code (max) 0.403 4. Kimi K3 · Kimi CLI 0.382 5. Grok 4.6 · Grok (xhigh) 0.367 6. GPT-5.5 · Codex (xhigh) 0.331 7. DeepSeek V4 Pro · Claude Code (max) 0.322 8. Qwen3.8 Max · Qwen Coder (xhigh) 0.322 9. Gemini 3.7 Flash · Antigravity (high) 0.309 Cihang Xie @cihangxie With frontier models getting more capable by the month 🚀, everyone is talking about Recursive Self-Improvement (RSI). But how do we actually measure this progress? 🤔 Excited to present RSI-Exam — a benchmark testing whether AI agents can improve an existing method through autonomous, long-horizon experimentation, and, importantly, whether those improvements generalize to hidden data. Across 88 executable research tasks spanning 6 domains, the trend is clear: Claude and GPT form the first tier, with a clear gap over the rest of the field. Yet there is still huge room for improvement. More importantly, the trajectories tell both stories: agents that discover fundamentally better methods — and agents that spend hours rigorously optimizing the wrong idea. Check it out rsi-exam.ai 5w 🔗 View Quoted Tweet 💬 1 🔄 1 ❤️ 1 👀 92 📊 1 ⚡