Event ·Single source

网友用停产傲腾内存无显卡跑通 Kimi K3,每秒输出 1.5 词元

11 月 2 日,Reddit 网友 u/IndividualSurvival 发帖展示家庭实验室尝试:不配备任何显卡,仅靠已停产的英特尔傲腾持久内存 200 系列和 40 核第三代至强可扩展处理器,跑通了月之暗面 2.8 万亿参数的 Kimi K3 模型。 硬件上,傲腾持久内存 200 系列基于 3D XPoint 非易失性存储技术,单条容量可选 128GB、256GB 或 512GB,面向第三代至强平台设计。该网友使用 App Direct 模式,让 DRAM 与傲腾作为两个独立数据空间呈现给软件,并借助 llama.cpp 执行推理。 速度方面是明显短板:1 比特量化下初始生成速度为每秒 0.85 个词元,关闭 DAX 直接访问、利用 DRAM 缓存后提升至每秒 1.50 个词元;3 比特量化仅达每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。项目属可行性测试,展示了大参数模型在纯内存推理路径上的极限状态。

Current read

这个折腾太硬核了:一块显卡都没有,靠停产的傲腾内存加至强 CPU 跑通月之暗面那个 2.8 万亿参数的 Kimi K3,用 llama.cpp 推理,1 比特量化最快每秒 1.5 个词元。速度感人但证明了家用硬件也能啃超大模型,对喜欢搞本地部署的玩家很有参考价值。

2 sources57° AI heatLast updated 2026/11/13 07:14:29

Evidence

2 sources

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.