Event ·Single source

12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元

Reddit 用户、律师 u/TumbleweedNew6515 在 11 月 20 日发帖,花 9,450 美元(约合 63,239 元人民币)买下 12 张二手英伟达 Tesla V100 SXM2 32GB,自建本地集群运行 DeepSeek-V4.1-Flash,单请求代码生成吞吐量达到每秒 153 至 184 个词元。系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,通过 NVLink 与 PCIe 组合互联,并用 4-bit NVFP4 量化把每个专家压缩至约 15,360 个参数,使 12 张 V100 分别承载模型中的专家分片,上下文配置为 256K。 实测数据方面,128K 上下文的首 token 延迟为 28.1 秒,预填充速度最高 4,670 tok/s;文档缓存命中后首 token 只要 0.2 至 0.6 秒。发帖者称该配置在单请求场景下优于公开的 4 台 DGX Spark 组合,代码生成快约 15% 至 45%,多流场景下 3 个流可达每秒 344 至 443 个词元。整套硬件成本约为三台 DGX Spark 的一半,代价是功耗最高约 2,100W 且噪音大,不适合普通办公环境。

Current read

一位律师花 9,450 美元收了 12 张二手 V100,硬是把 DeepSeek-V4.1-Flash 跑到每秒 184 个词元,速度比 4 台 DGX Spark 还快、价格只要一半。文章里有完整的并行结构和吞吐数据,想省钱自建本地推理的开发者值得照抄这套配置。

2 sources48° AI heatLast updated 2026/11/21 05:00:14

Evidence

2 sources
Related source 1Soumith Chintala (PyTorch)
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.