Event ·Single source

Stanford 论文:Qwen3.5-27B 无梯度自我改写权重,准确率 57.2% 升至 63.8%

Stanford 与多家顶级实验室联合发表论文,发现 27B 开源模型可以在无训练、无梯度的情况下通过推理自行修改权重来提升能力。研究团队给 Qwen3.5-27B 提供自身的权重、带评分的练习答案和一个 Python 会话,并屏蔽梯度。模型对比自己在完成答案与耗尽 token 答案上的隐藏状态,然后削弱区分两者的方向,完成自我修正。 在一组预先固定的 490 道未见题目测试中,这次自我编辑将准确率从 57.2% 提升到 63.8%。但该方法对规模敏感:2B 模型没有做出任何有效编辑,4B 和 9B 模型则改坏了自己。 这项工作挑战了'改进已部署模型必须重新训练'的常规做法——传统上提示词和额外推理计算的收益在任务结束后即消失,而权重自编辑的改进是持久的。对运行大型开源模型的团队,论文建议让模型针对自身失败案例提出权重编辑,但只保留能通过留出测试的编辑。

Current read

27B 模型不改训练流程、靠对比自身隐藏状态就涨了 6.6 个百分点,这事以前只有重训才能做到。有趣的是规模很关键,小模型会把自己改坏。自己部署开源大模型的团队可以直接照论文方法试试。

2 sources68° AI heatLast updated 2026/11/20 17:17:18

Evidence

2 sources
Primary sourcerohanpaul_ai
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.