主要来源arXiv: DeepSeek
查看原文事件专题 · 官方一手
FlashBoot：亚秒级大模型权重加载系统
FlashBoot是SGLang上的权重加载子系统，针对MoE模型弹性部署中的延迟问题。它通过FabricArena连续内存布局和FlashLoad零拷贝批量传输，将单节点权重加载从20.1秒降至0.4秒，加速50倍。FlashClone利用远程映射替代NCCL初始化，将跨节点复制时间从10-110秒降至约10毫秒。在NVL72上测试DeepSeek-V4-Pro和DeepSeek-V4-Flash，并发机架级加载从87秒降至0.32秒，加速超270倍。
当前结论
SGLang团队搞的FlashBoot，把大模型权重加载从20秒压到0.4秒，跨节点复制只要10毫秒。跑DeepSeek-V4系列，NVL72上实测数据，做弹性部署的值得看。
9 个信源58° AI 热度最后更新 2026/8/9 04:56:59
证据链
相关来源 1Geek
查看原文相关来源 2歸藏(guizang.ai)
查看原文相关来源 3pandaily
查看原文相关来源 4宝玉
查看原文相关来源 5IT之家
查看原文相关来源 6ollama
查看原文相关来源 7掘金本周最热
查看原文相关来源 8向阳乔木
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。