#本地部署
Ollama 现在能直接跑 DeepSeek Harness 了,全本地运行,还能看后台轨迹,所有组件都能当插件换,挺好玩,值得试试。
Qwen3.8-27B 现在靠 Unsloth 动态量化,17GB 内存就能跑,还有 NVFP4 量化版,适合本地尝鲜。
DeepLearning.AI和JetBrains出了门短课,教你写代码时把任务拆给子代理,便宜模型干杂活,最后还能完全在本地跑模型。
Andrew Chen 说这套是目前最强家用本地 AI 配置:双 DGX Spark 跑 Deepseek v4 flash 0731 约 50 tok/s。
蚂蚁百灵开源了个轻量推理模型,7.9B 参数但每 Token 只激活 1.3B,Mac mini 上跑得飞快,适合本地部署。
有人晒了 DeepSeek V4 Flash 在 DGX Station 上的实测数据,单机每秒能跑 1875 个 token,128k 上下文首字只要 5 秒,你可以拿这个数去衡量本地部署值不值。
Unsloth搞了个DSpark,能让DeepSeek-V4-Flash在本地跑快一两倍,每秒120 tokens,精度不变,自己部署更爽了。
雷神把水冷塞进6.5kg小机箱,锐龙AI Max+ 395加128GB统一内存,本地跑大模型不用上传数据,适合注重隐私和稳定性的职场用户。
DGX Spark用户别错过,一条命令跑284B的DeepSeek V4 Flash,prefill有1000 tok/s,多智能体也有59 tok/s。
哥们 Andrew Chen 晒了 DeepSeek V4 Flash 0731 跑在双 DGX Spark 上,想围观新版本性能的可以关注他。
有人把 Claude Fable 5 的思维链塞进了 MiniCPM5-1B,搞出个 657MB 的本地推理模型,128K 上下文还能看它怎么想的,部署门槛极低。
Unsloth把GLM-5.2压到1-bit,Mac Studio上跑21 tok/s,创意性居然不输Claude Opus,本地部署党有福了。
LM Studio 用四台 Mac Studio 跑起万亿参数的 Kimi K2.6,还能用 iPhone 远程调用,给消费级本地部署开了个好头。
Unsloth把1万亿参数的Kimi K2.7 Code压到325GB本地能跑,速度40+ tok/s,长程推理和agent工作流全闭环,开源社区终于能自己跑了。