Weight-Space(权重空间)指的是直接把神经网络模型的参数权重当作可读写的操作对象,而不经过梯度下降等传统训练流程的一种研究方向。MIT CSAIL 近期提出的 Weight-Space Programming(权重空间编程)让大模型 GPT-6 Astra 直接读写另一个小模型的权重文件,在 Qwen3.5-0.8B 上验证了可行性:整个过程不做微调、不计算梯度,仅由 GPT-6 Astra 定位并修改少量参数,就显著改变了目标模型在特定任务上的表现。
Weight-Space 编程的近期进展
当前焦点与观察点
目前围绕 Weight-Space 方法的主要疑问有三点。其一是可复现性:实验集中在 Qwen3.5-0.8B 这种小模型和 MATH-500 这一个数学基准上,能否推广到更大模型和更多任务尚待验证。其二是副作用:修改约 0.016% 的权重带来数学能力大幅提升的同时,对模型其他能力是否有损害,公开报道中尚未给出系统的回退评估。其三是定位成本:GPT-6 Astra 本身是能力很强的前沿模型,用它来改写小模型权重,整体算力经济性是否优于传统微调,仍是开放问题。
从趋势上看,Weight-Space 编程与模型合并、模型编辑等方向共同指向一个更宽泛的图景:未来模型的迭代未必都要走「收集数据—训练—部署」的全流程,直接在参数层面做精准手术可能成为一条补充路径。但就现阶段而言,它更像一个有启发性的研究演示,距离工程化应用还有明显距离。