§ 01综述

100B 近期进展

本地运行AI模型的现实：消费级硬件与云模型差距巨大消费级硬件在本地运行大规模AI模型时，与云端模型的性能差距显著，这限制了AI在边缘计算中的应用。

CARVE：内容感知高效线性注意力，修正记忆盲门控缺陷 CARVE是一种新的注意力机制，旨在解决记忆盲门控缺陷，提高模型的效率和准确性。

FoMoE：用MoE联邦打破全复制壁垒 FoMoE通过MoE联邦学习技术，实现了在分布式环境下的高效模型训练，打破了全复制壁垒。

LightningLM 0.1V：单节点8卡训练120B稀疏MoE LightningLM 0.1V展示了在单节点8卡环境下，训练120B稀疏MoE模型的可能性，推动了大规模模型的发展。

当前焦点与观察点

100B规模的大规模AI模型在近期的研究中备受关注，其性能和效率成为研究的热点。同时，如何优化模型在消费级硬件上的运行，以及如何解决分布式环境下的训练问题，也是当前研究的重点。

§ 02相关报道06 条在档

§ 03邻近话题