GPT-6 Astra 单次通过编辑神经网络 3.5% 权重
Andrew Ng 团队的 The Batch 报道了一个很反直觉的结果:GPT-6 Astra 不训练、不调梯度,直接改 3.5% 的权重,把一辆 AI 车从 256 次全失败跑到 1024 次全成功。做模型修复和微调的人都该看看这篇。
DeepLearningAI 在 The Batch 新闻通讯中报道,GPT-6 Astra 在单次推理过程中编辑了一个神经网络 3.5% 的权重。报道中的测试对象是一辆 AI 驱动的汽车,编辑前 256 次运行全部失败,编辑后达到 1,024 次运行全部成功,成功率从 0% 提升到 100%。整个过程没有显式重新训练、没有调用外部工具、没有梯度下降步骤。
这类权重编辑不同于传统的微调流程:模型不是通过反向传播更新参数,而是直接对目标网络的部分权重进行修改。从 0/256 到 1,024/1,024 的对比表明,编辑针对的是导致任务失败的特定权重区域,改动幅度控制在 3.5% 以内。
如果这一结果可复现,权重直接编辑可能成为微调之外的模型修复路径,尤其在难以获得训练数据或梯度训练成本高的场景。开发者可以关注 deeplearning.ai/the-batch/ 的完整报道以了解实验设置细节。
GPT-6 Astra edited 3.5% of a neural network’s weights in one pass. The AI-powered car went from 0 of 256 successful runs to 1,024 of 1,024. No explicit retraining. No tools. No gradient steps. Read the full story in The Batch, our weekly AI newsletter 📬: deeplearning.ai/the-batch/llms… r #DeepLearningAI I #MachineLearning g #LLMs s
This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to US-China foundation model benchmarks and commercialization comparison and AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include GPT-6 Astra, DeepLearningAI, weight editing, fine-tuning.
Source attribution: curated from DeepLearning.AI (@DeepLearningAI).