100B指的是拥有1000亿参数规模的人工智能大模型，当前AI领域衡量模型复杂度和能力的重要指标。近期，随着边缘计算能力的提升，100B级模型正逐步从云端向本地终端设备迁移，这一趋势正在重塑AI应用边界。
100B 近期进展
当前焦点与观察点
100B模型的发展正面临算力效率与实际应用的双重挑战。一方面，Foil方法等新设计通过扁平化专家并解绑注意力机制，提高了100B级模型的训练效率；另一方面，形式推导预训练等方法探索了逻辑先于语言的学习方式，有望提升100B模型的可压缩性和实用性。随着边缘计算芯片的发展，100B模型正从云端走向终端，但如何在保持性能的同时降低能耗和成本，仍是行业面临的关键问题。