从 Kimi 蒸馏到 DeepSeek 数据:什么才算"中国模型"?
这段吐槽点到了行业里一个没人想细说的问题:蒸馏、合成数据和继续预训练已经让模型国籍变得很模糊。Nemotron 用 DeepSeek 数据、Thinky 蒸馏 Kimi,这些例子一摆出来就很难自圆其说。做政策研究或选型的人应该看看。
Nathan Lambert 在 X 上质疑当前对"中国模型"与"美国模型"的二分划分标准。他列举了几个边界案例:Thinky 的模型从 Moonshot 的 Kimi 蒸馏而来,Composer 通过继续预训练改造,NVIDIA 的 Nemotron 大量使用 DeepSeek 生成的合成数据训练,还有 Nous 对模型做所谓"美国价值观"的微调。这些案例中,权重、训练数据、算力和团队分属不同地区。
他提出的核心问题是:当蒸馏、继续预训练和合成数据成为主流训练手段后,模型国籍的判定应该看什么——初始基座来源、数据来源,还是最后的开发团队?在他看来,简单的标签式分类忽略了这些交叉重叠的供应链关系。
这一讨论直接影响政策制定与开源生态:如果监管按"模型来源"设限,Nemotron 这类用 DeepSeek 数据训练的美国模型,或 Kimi 蒸馏出来的美国创业公司产品,都可能陷入归类困境。开发者和企业在选型时也需要更细粒度地追溯模型的数据与权重来源。
This is stupid. What counts as a chinese model? What about Thinky's model distilled from Kimi? What about composer, continued pretraining? What about Nemotron, using tons of DeepSeek synthetic data? What about that silly nous finetune for "american" values?
This report is categorized under AITOP's "Industry" desk. Within our cross-regional analytical framework, it directly maps to US-China foundation model benchmarks and commercialization comparison and AI regulation, compliance frameworks, and sovereign compute policy. Key entities and technical topics under continuous tracking include Kimi, DeepSeek, Nemotron, open-source models.
Source attribution: curated from Nathan Lambert (@natolambert). Cross-source corroboration: 11 independent sources have covered this development (including NVIDIA AI, Decoder, Aravind Srinivas), confirming industry-wide signal strength.