Stanford Marin 535B-A23B 开源模型训练过半
精选理由
Stanford 的 Marin 开源模型训到一半了，535B 总参数、每次激活 23B，Percy Liang 还分享了训练中途的踩坑心得。
Stanford Marin 团队宣布 535B-A23B 模型训练已过半，Percy Liang 发布了训练过程中的观察与经验总结。535B 指总参数量，A23B 表示每次推理激活 23B 参数的稀疏架构。该模型属于 Marin 开源训练项目，进展以英文帖子形式公开。
原文 · Percy Liang
🚢Marin 535B-A23B training has crossed the halfway mark! Some observations and learnings so far: https://t.co/tNhEWle6Mp
