#模型扩展
共 3 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「模型扩展」标签的资讯、产品与论文,按刊登时间排,新的在上。
8月28日
6月17日
6月8日
LightningLM 0.1V:单节点8卡训练120B稀疏MoE
这篇论文解决了大模型训练资源门槛高的问题——单节点8卡就能训120B模型,做MoE和模型扩展的团队可以直接参考其状态保持原则和TQP策略,省下大量硬件成本。
这篇论文解决了大模型训练资源门槛高的问题——单节点8卡就能训120B模型,做MoE和模型扩展的团队可以直接参考其状态保持原则和TQP策略,省下大量硬件成本。