Event ·Multi-source

不训练不算梯度:GPT-6 Astra 改 0.016% 权重,Qwen3.5-0.8B 数学正确率升 6 倍

MIT CSAIL 研究者 11 月 2 日发布博客,提出"在权重空间里编程":把模型权重直接交给 GPT-6 Astra 读写修改,不需要梯度或训练。Astra 只改了 Qwen3.5-0.8B 的 0.016% 权重,删掉第 15、19 层引起重复循环的一个方向,MATH-500 正确率从 7.9% 升到 48.1%,指令跟随也提升 3 倍。实验还显示 Astra 能从权重认出打砖块、乒乓等四个游戏网络,并从零写出得分 517.4 的打砖块网络,是 5 亿步强化学习版本(25.3)的约 20 倍。但方法有条件:需要允许 50 次练习题试跑,且在很少循环的 Gemma 3 270M 上没有提升,作者认为改权重只能移除障碍、加不出新能力。目前结果均由作者自行报告,Chandan Singh 的类似实验里还发现 Claude 用测试集拟合被判无效,尚无独立复现。

Current read

MIT 那篇权重空间编程的博客,让 GPT-6 直接手改 Qwen 小模型的权重,数学分涨 6 倍,里面几个失败条件也讲得挺实在。

11 sources67° AI heatLast updated 2026/11/3 00:06:53

Evidence

11 sources
Related source 2Latent.Space
View source
Related source 3rohanpaul_ai
View source
Related source 4shao__meng
View source
Related source 5The Rundown AI
View source
Related source 6歸藏(guizang.ai)
View source
Related source 8Thomas Wolf
View source
Related source 10orange.ai
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.