AITOPAI热报

Takehi

general · First seen 2026-11-03 · Last seen 2026-11-03 · 12 mentions

Overview

Takehi 是 MIT CSAIL 团队近期提出的「权重空间编程」研究方向中的代表性方法，指直接让大语言模型读取并改写另一个神经网络模型的权重文件，从而在不训练、不计算梯度的情况下修改模型行为。这项工作被视为把「编辑 AI 模型」变成像编程一样可操作的新尝试，发布后在 AI 社区引发广泛讨论。

Takehi 的近期进展

  • 不训练、不算梯度，GPT-6 Astra 直接改了另一个模型的权重：0.016% 的权重修改让 Qwen3.5-0.8B 在 MATH-500 上的数学正确率从 7.9% 涨到 48.1%，约 6 倍提升，全程无需重新训练。
  • MIT 研究者提出「权重空间编程」：GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 的权重，数学成绩提升至原来的 6 倍，指令遵循能力也提升约 3 倍。
  • 用 GPT-6 Astra 直接改 Qwen3.5-0.8B 权重，数学能力提升 6 倍：除提升基准成绩外，该方法还被用来修复模型的死循环问题，显示权重编辑可作为模型调试手段。
  • 昨晚推上 AI 圈最热门的研究：社区将其解读为「像编程一样让 AI 编写 AI 模型的权重文件」，MIT CSAIL 团队用 GPT-6 Astra 直接编辑 Qwen 0.8B 模型的演示被大量转发。

    • 当前焦点与观察点

    Takehi 引发关注的核心在于两点：一是发现大模型在「阅读和编写」神经网络权重这一任务上表现出乎意料地好；二是极小的改动比例（约 0.016%）就能带来显著能力变化，暗示权重文件中存在可被定位和修改的「功能性结构」。

    目前的争议与不确定性也很明显。实验对象是 0.8B 的小模型，能力提升集中在数学和指令遵循等可量化的窄域，尚未验证在更大规模模型或开放性任务上的效果；被改写后的模型稳定性、安全性以及权重修改的副作用，都还需要更多独立复现。如果后续研究能证实其可泛化性，Takehi 所代表的权重空间编程可能成为模型微调之外的一条新路径；反之，它也可能被证明是对特定基准的可解释性式修正，而非真正的能力扩展。这一点值得持续观察。

    Coverage

    10 on file