精选理由
给想低成本跑大模型的开发者参考:用Qwen3量化版,M1 Pro就能流畅做本地任务。
作者基于Qwen3模型进行2bit量化,得到Ternary-bonsai-27b-mlx-2bit模型。在M1 Pro 32G笔记本上通过LM Studio加载并开启本地服务器,直接接入业务产品。回答速度较快,多模态功能表现良好,无大问题。
原文 · berryxia
这个模型也是通过Qwen3模型打底做的量化,Ternary-bonsai-27b-mlx-2bit,…
这个模型也是通过Qwen3模型打底做的量化,Ternary-bonsai-27b-mlx-2bit,已经接在了我们公司自己的业务中去做本地的任务,没有太大问题,还是多模态很舒服。
我是load在LM Studio 中,然后开启local Server后,直接到我的产品中配置这个本地地址就行了。
我的这个笔记本使用的M1Pro 32G 回答速度也挺快的,感觉还不错啊!我再体验体验😄