微软 14 年 AI 老将 John Langford 离职:称研究创新难落地
在微软任职超过 14 年的 AI 科学家、AI Frontiers 实验室联合创始人 John Langford 已离职,他给出的原因是研究成果看不到实际应用路径,创新想法难以获得认真考虑。兰福德是机器学习领域的资深研究者,长期推进 Contextual Bandits(上下文多臂老虎机)方向,在探索算法、学习问题归约和离线策略评估方面有代表性贡献。 他所在的约 50 人团队于今年 9 月被并入 Mustafa Suleyman 领导的 Microsoft AI 部门,双方在研究路线和团队重组方式上分歧较大。兰福德承认扩大模型规模能改善预测效果且回报更易预期,但反对把扩规模当成唯一核心,认为这会挤压探索新方法的空间。争议焦点是他今年 8 月发布的“全带宽 Transformer”研究:该方案在生成词元时重用内部中间状态,实验中 10 亿参数模型以更少训练数据接近常规模型用约 1.5 倍数据训练的表现,额外计算开销很小。 字节跳动 Seed 团队 10 月 25 日发布的 Recycler 研究采用类似思路重用隐藏状态,在推理和数学任务上能超越参数多两到三倍的模型。兰福德的离开反映出大厂研究团队在扩规模路线与研究创新之间的取舍正在变得尖锐。
Current read
一位在微软干了 14 年、做 Contextual Bandits 起家的研究老手,因为“只卷规模不听新想法”走人了。他 8 月的全带宽 Transformer 能让 10 亿参数模型省数据打平大模型,字节 Seed 的 Recycler 也走了同一条路。做模型架构和关心大厂研究氛围的人都该看看。
Evidence
3 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.