Models71°
DeepSeek 开源推理引擎 DeepInfer，基于 vLLM 构建
Why we picked it
DeepSeek 把自家的推理引擎 DeepInfer 开源了，还是基于 vLLM 做的，做推理部署的同学可以看看它有什么新思路。
DeepSeek 发布了推理引擎 DeepInfer，采用 Apache 2.0 许可证并归功于开源社区。DeepInfer 最初主要基于 vLLM 项目构建，vLLM 团队对此表示感谢。vLLM 表示已在优化 DeepSeek V4.1 Flash 的推理效率，并将吸收 DeepInfer 中的思路继续改进。
Original · vLLM
Grateful to @deepseek_ai for releasing DeepInfer, initially built primarily on @vllm_project, under Apache 2.0 and crediting the open-source community!
We've worked hard on DeepSeek V4.1 Flash inference efficiency and will keep improving with ideas from DeepInfer! Stay tuned 🙌 https://t.co/okrttNqkYa
