Marin项目展示AI开放性

Marin项目展示了AI模型训练的开放性，包括开源代码、数据、配方和实验结果。本周开始训练Marin 535B-A23B模型，整个训练过程公开。预训练和中期训练将在11个GB200 NVL72上使用18.75T标记进行，预计约3个月完成。之前进行了从1.6B-A61M到27.7B-A1.2B的4级缩放训练，以调试问题和预测主要运行。这是迄今为止最大的运行，预计会有意外。