Ethan Mollick 指出 OpenAI 与 Anthropic 收紧蒸馏或拖慢开源模型进步
Mollick 抛出一个挺有意思的因果猜想:OpenAI 和 Anthropic 不让随便蒸馏了,开源模型的进步是不是因此变慢了?做开源模型本地部署或者二次训练的朋友可以看看,这关系到你后面能拿到什么水平的开源权重。
Ethan Mollick 在 X 上提出一个观察:OpenAI 和 Anthropic 的模型正在事实上终结"轻松蒸馏"的可能性,这可能是开源权重模型进步放缓的原因之一。他没有给出具体数据或版本号,而是把两个现象放在一起:一是头部闭源厂商加强了对模型输出用于训练竞品的限制,二是开源权重模型的迭代速度出现了相对下滑。
蒸馏的原理是让小模型学习大模型的输出分布,从而以极低的训练成本获得接近大模型的能力。过去开源社区可以通过调用 GPT-4、Claude 等模型的 API 大规模生成训练数据,再蒸馏出开源权重模型。如果厂商通过服务条款、输出检测或访问限制封堵这条路,开源模型的追赶速度确实可能受到影响。
文中承认,目前无法量化蒸馏在开源模型进步中的实际贡献,答案要等一段时间才能验证。对依赖开源权重模型做本地部署和二次训练的开发者来说,这一变化意味着后续开源模型与闭源模型的能力差距走向存在不确定性。
The effective end of easy distillation from OpenAI and Anthropic models may be behind the relative slowdown in open weights model progress. We don’t know the extent to which distillation has been key to the rapid improvement in open weights, I guess we will find out quite soon.
This report is categorized under AITOP's "Industry" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include OpenAI, Anthropic, distillation, open-source models.
Source attribution: curated from Ethan Mollick (@emollick).