精选理由
想知道Kimi K2的MoE架构从哪来的?原来源于创始人十年前的博士论文XLNet,技术传承很有意思。
34岁创始人杨植麟,清华本科+CMU博士,曾任职Meta AI和Google Brain。其博士论文工作XLNet累计被引超1万次,该技术脉络演进为Kimi K2模型的万亿参数MoE架构。这一技术路线被认为是Kimi在与美国模型竞争中获胜的关键因素之一。
原文 · AI Will
Kimi打赢美国模型的关键技术之一,源头或许是创始人杨植麟十年前写的博士论文。 他34岁,清华本科+CMU博士,读博期间在Meta AI和Google Brain都待过。那篇引超1万次的XLNet,...
Kimi打赢美国模型的关键技术之一,源头或许是创始人杨植麟十年前写的博士论文。 他34岁,清华本科+CMU博士,读博期间在Meta AI和Google Brain都待过。那篇引超1万次的XLNet,脉络后来变成Kimi K2的万亿参数MoE架构。 Your browser does not support the video tag. 🔗 View on Twitter 💬 1 🔄 0 ❤️ 1 👀 668 📊 1 ⚡
- shao__meng07-20 01:32原文