Google's Alex Krentsel Reproduces MIT Weight-Space Programming Experiments
The cross-generation sweep is the real signal: weight-editing ability appeared abruptly in the latest frontier models, echoing the stage-like jumps seen in interpretability research. Practitioners tracking emergent capabilities or open-source progress should watch the planned replication on open weights, since local models eventually editing their own weights is the stated end goal. Compared with prior manual work on networks of tens to hundreds of nodes, this extends the reachable scale, though the task itself remains simple and small.
Google researcher Alex Krentsel reproduced Experiment 5 from the MIT blog post on weight-space programming, where a model writes all roughly 20,486 weights of a playable Breakout network in a single reply, without training or tools. Scanning across model generations, he found GPT-5 through 5.5 and Opus 4.5 through 4.8 performed at or below the 1x PPO-trained baseline, while GPT-5.6 Sol and Opus 5 barely passed 1x. Only GPT-6.1 Sol, GPT-6 Astra and Opus 5.5 jumped to about 18x-22x, suggesting a step-change rather than smooth improvement. Krentsel cautioned the target network is tiny relative to trillion-parameter frontier models, so this does not show models editing themselves, and he is now replicating the results on open-source weights including Chinese models.
Google 研究员 @AlexKrentsel 复现了 MIT 博文里的「Weight-Space Programming」实验，还补了一条发现：跨多代模型扫下来，这项能力几乎只在最新一批前沿模型上突然变强，而不是一路平滑变好。 关于 Weight-Space Programming x.com/shao__meng/sta… 看看 Alex 复现了什么 复现的是原文 Exp. 5：各模型在一次回复里、不训练、不用工具，直接写出一个可玩 Breakout 的网络的全部约 2 万个权重；提示与计分与原文一致，1× 对标文中用 PPO 强化学习训出的网络。 GPT-5 到 5.5、Opus 4.5 到 4.8 基本在基线附近或更弱；GPT-5.6 Sol、Opus 5 略过 1×；到 GPT-6.1 Sol / GPT-6 Astra、Opus 5.5 才跳到大约 18×–22×。因此 Alex 说：这是刚在最新一批模型里冒出来的台阶式新能力。 必须看清的前提 被编辑、被写出权重的那个 Breakout 网络只有约 20486 个参数；前沿大模型是大约 万亿 量级。他强调这是很早的分享，规模差了好几个数量级，不能直接外推成「大模型已经能改自己」。 他怎么理解这件事：像 2010 年代可解释性研究里「某个神经元见狗就亮」那种手工观察，但能力已经超出人能手改的规模，人以前手工做几十到上百节点，再靠工具做到大约千级；现在是推理能力让模型能对更大但仍相对很小的网络动手。 下一步与他怎么回应质疑 他觉得很自然的下一步是运行时在权重里自我改进，但以现在外模型与内模型的体量差，还不现实；若趋势延续，可能再过几代才谈得上。有人问是不是已经在自改，他澄清：目前是外层模型改内层小网络，还没有自编辑。对「是不是闭源模型后训练专门刷过这类题」，他说自己看不到幕后；对「为什么不用中国开源模型」的批评，他表示正在开源权重（含中国模型）上复现，先从当前最强的 Astra、Fable/Opus 5.5 起手，并说兴奋点其实是本地开源权重最终能自己改自己，而不是闭源模型摸别人的权重。 也有评论认为任务过简、提示给的信息太多、不宜叫涌现；他回应：问题确实简单、网络确实小，但权重编辑与可解释性这条线上，人已经挣扎很久，他更看重的是跨代次的趋势。 Alex Krentsel @AlexKrentsel i've reproduced the results from the MIT blog post today on weight-space programming. but one additional result i have to add: this is a new, step-change emerging capability that's appeared in just the latest set of models. 🔗 View Quoted Tweet 💬 4 🔄 0 ❤️ 1 👀 471 📊 4 ⚡
