Chinese contentDeepSeek DeepInfer 开源：单集群日处理 155 万亿 token，毛利率约 80%
DeepSeek 把自家生产级推理系统开源了，一天 155 万亿 token、80% 毛利，做推理服务的都该看看这套架构。
#DeepInfer
20 stories · 20 in 7 days · 20 in 30 days
Stories, products and papers tagged "DeepInfer", newest first.
10月21日
DeepInfer Release Draws Criticism Over Heterogeneous Hardware Support
The debate centres on whether DeepInfer's reported throughput depends on a tightly controlled, homogeneous GPU fleet rather than general infrastructure design. Engineers planning large-scale inference deployments on GB200 clusters can weigh whether NVIDIA Dynamo plus 3FS achieves comparable results outside DeepSeek's own setup.
Chinese content用 MiniMax M3.1 Flash 加开源 skill 生成项目讲解视频
一条提示词就能让 MiniMax M3.1 Flash 自动生成项目讲解视频，skill 在 GitHub 开源，还免费，可以拿去试试。
DeepSeek Open-Sources DeepInfer Inference Framework for V4.1 Flash
Open-sourcing the framework that runs DeepSeek's own production fleet gives operators a rare look at inference internals optimised for both NVIDIA and Huawei Ascend hardware, a dual-platform angle few comparable stacks like vLLM or SGLang emphasise. Teams running DeepSeek models on Ascend 950 in Southeast Asia gain a first-party option instead of community ports. Deterministic sampling is currently NVIDIA-only, so check hardware fit before adopting.
Chinese content网友热议 DeepInfer，称需要时间消化其内容
有人被 DeepInfer 的内容冲击到要睡一觉才能缓过来，还做了个关于 2030 年的怪梦，帖子里连他自己都说还没完全看懂。
Chinese contentDeepSeek 开源 DeepInfer 推理引擎，支撑 V4.1-Flash 降本提速
DeepSeek 把跑 V4.1-Flash 的推理引擎 DeepInfer 开源了，基于 vLLM，想自建部署省算力成本的可以拿来直接用。
Chinese contentDeepSeek 推理集群日处理 155 万亿 token，GPU 时收入 38 美元
DeepSeek 把推理集群的账本公开了：日处理 155 万亿 token，GPU 时收入 38 美元，算下来毛利约 82%，这数字值得看看。
10月20日
Chinese contentDeepSeek 开源推理框架 DeepInfer，Apache 2.0 协议发布
DeepSeek 把自家跑 V4.1-Flash 的推理框架开源了，Apache 2.0 随便商用，还同时支持英伟达和昇腾，做部署的可以看看。
Chinese contentDeepSeek 开源推理框架 DeepInfer，解释自部署为何未必更便宜
DeepSeek 把自家生产环境的推理引擎 DeepInfer 开源了，能看懂官方 API 为什么便宜，想自己部署模型的人值得翻翻代码。
Chinese contentDeepSeek 开源推理引擎 DeepInfer，64 卡吞吐达 170 万 tok/s
DeepSeek 把自家线上用的推理引擎 DeepInfer 开源了，单卡聊天 325 tok/s，64 张 Blackwell 跑到 170 万 tok/s，想自建推理服务的可以看看。
Chinese contentDeepSeek 开源生产级推理引擎 DeepInfer，8 小时收获 6.3K 星
DeepSeek 把自家用在生产环境的推理引擎开源了，还兼容华为昇腾 950 芯片，看推理优化的人可以拆开研究。
Chinese contentDeepSeek 开源内部推理框架 DeepInfer 及生产级编解码组件
DeepSeek 把自家跑 V4.1-Flash 的生产推理栈开源了，Apache 2.0 随便用，做私有化部署和算力成本核算的团队值得看看源码。
Chinese contentDeepSeek 开源内部推理框架 DeepInfer
DeepSeek 把跑 V4.1 Flash 的自家推理框架 DeepInfer 开源了，支持推测解码，还能跑昇腾，自建推理服务的可以看看。
Chinese contentDeepSeek 完全开源内部推理框架 DeepInfer
DeepSeek 把自家跑 V4.1 Flash 的推理框架 DeepInfer 开源了，支持英伟达和昇腾双平台，自建部署的朋友可以直接拿去用。
Chinese contentDeepSeek 开源推理引擎 DeepInfer，基于 vLLM 构建
DeepSeek 把自家的推理引擎 DeepInfer 开源了，还是基于 vLLM 做的，做推理部署的同学可以看看它有什么新思路。
Chinese contentDeepSeek开源推理加速引擎DeepInfer与数据转换工具包deepseek-recipe
DeepSeek 把自己生产环境在用的推理加速架构直接开源了，DeepInfer 支持 N 卡和昇腾卡，自建服务卡顿的可以看看，还有个格式转换小工具 deepseek-recipe。
Chinese contentDeepSeek 推出 DeepInfer 推理服务
DeepSeek 出了个叫 DeepInfer 的东西，主打让 AI tokens 到处都能用上，感兴趣可以盯一下详情。
Chinese contentDeepSeek 宣布将内部推理框架 DeepInfer 全面开源
DeepSeek 把自家线上跑 V4.1 Flash 用的推理框架开源了，还兼容昇腾，做私有化部署的可以看看