#FlashBoot

2 stories · 0 in 7 days · 0 in 30 days

DeepSeek-V4 1 MoE 1 SGLang 1 权重加载 1

Stories, products and papers tagged "FlashBoot", newest first.

Aug 11

PapersMulti-sourceSelected10:43

Chinese contentFlashBoot：亚秒级大模型权重加载系统

SGLang团队搞的FlashBoot，把大模型权重加载从20秒压到0.4秒，跨节点复制只要10毫秒。跑DeepSeek-V4系列，NVL72上实测数据，做弹性部署的值得看。

#FlashBoot #SGLang #DeepSeek-V4 #权重加载

arXiv: DeepSeek@Issac Zhu et al. (6)9 sourcesSource

Jul 21

ProductsSelected04:20

Chinese contentRunpod推出AI模型Serverless方案，冷启动低于200ms

Runpod让部署大模型像serverless函数一样快，冷启动200ms，成本降90%，不用再纠结闲置GPU还是等待加载了。

#Runpod #FlashBoot #Serverless #GPU部署

Ate-a-Pi@svpinoSource