DeepSeek 宣布将内部推理框架 DeepInfer 全面开源

DeepSeek 于 10 月 20 日宣布将内部推理框架 DeepInfer 全面开源，此前已开源 TileLang 编译工具和推理算子库。DeepInfer 集成高性能算子，支持分布式推理、推测解码、SWA Bounded Replay、结构化输出，兼容英伟达与华为昇腾平台。官方已基于 DeepInfer 实现 DeepSeek V4.1 Flash 的大规模推理服务。同步开源的 deepseek-recipe 编解码组件与官方 API 处理逻辑对齐。新模型推理代码及优化将在 GitHub 仓库持续更新。