Primary sourceIT之家
View sourceEvent ·Multi-source
MIT 提出权重空间编程:GPT-6 Astra 改 Qwen3.5-0.8B 约 0.016% 权重,MATH-500 提升至 6 倍
MIT CSAIL 研究人员提出「权重空间编程」,让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的神经网络权重,全程不用梯度下降或反向传播。Astra 定位到该模型第 15 层和第 19 层 MLP 中导致推理循环的重复方向,仅修改 131072 个权重,约占总参数的 0.016%。修改后模型在 MATH-500 上的成绩从 7.9% 升至 48.1%,在 GSM8K 上从 13.8% 升至 67.1%,IFEval 指令遵循成绩从 21.0% 升至 62.3%。对照实验显示,很少出现推理循环的 Gemma 3 270M 在 MATH-500 上仅从 6.8% 升至 7.7%,说明该方法能消除能力发挥的障碍,但难以创造模型原本不具备的能力。
Current read
MIT 那帮人让 GPT-6 Astra 直接改 Qwen3.5-0.8B 的权重,只动 0.016% 参数,数学成绩翻了 6 倍,全程没跑训练循环,思路很新颖。
4 sources76° AI heatLast updated 2026/11/3 02:00:55
Evidence
4 sourcesRelated source 1rohanpaul_ai
View sourceRelated source 2kimmonismus
View sourceRelated source 3thsottiaux
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.