Ripple-65B Preview 架构拆解:从零构建小型编程模型
一场关于从零训练编程模型的技术直播,主讲人会讲清楚为什么不用 MoE、哪些消融实验失败了,还有 RL 训练里踩过的坑。自己做模型微调或 RL 训练的工程师值得看,这类失败经验比论文里的成功结果更少出现。
Together AI 官宣与 RicursiveAI 联合举办一场技术直播,主题是小型编程模型的完整构建流程。主讲人 RicursiveAI 的 Dan Zhang 将拆解 Ripple-65B Preview 的架构选择与关键决策,包括为何选用 dense 架构而非 MoE,以及哪些消融实验经受住了验证、哪些没有。直播还覆盖 RL 训练运行中的实际表现细节。
整场活动采用访谈形式,由 Together AI 的 zainhas 主持提问,时间为美东时间 11 月 17 日星期二下午 2 点(太平洋时间上午 11 点)。内容定位是从模型架构设计、消融实验到 RL 训练的端到端经验分享,面向想自行训练编程模型的工程团队。对开发者来说,dense 与 MoE 的取舍逻辑和 RL 运行中的失败案例是较难在公开渠道获得的实操信息。
How do you build a small coding model from scratch?
@RicursiveAI 's Dan Zhang breaks down the architecture and decisions behind Ripple-65B Preview with @zainhas: dense over MoE, the ablations that held up (and didn’t), and what happened inside the RL runs.
Tuesday, Nov 17 . 11 A.M. PT / 2 P.M. ET
This report is categorized under AITOP's "How-to" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include Ripple-65B, RicursiveAI, Together AI, open-source models.
Source attribution: curated from Together AI (@togethercompute).