Chinese contentDeepInfer-Mac 在 24 GB MacBook Air 上跑 750B 级 DeepSeek-V4.1-Flash
斯坦福之外也有人把 750B 的 DeepSeek-V4.1-Flash 塞进了 24 GB 的 MacBook Air,速度只有 0.21-0.72 tokens/s,但论文把权重加载和预取设计讲得很透,做本地推理的值得看实现细节。
斯坦福之外也有人把 750B 的 DeepSeek-V4.1-Flash 塞进了 24 GB 的 MacBook Air,速度只有 0.21-0.72 tokens/s,但论文把权重加载和预取设计讲得很透,做本地推理的值得看实现细节。