精选理由
Unsloth把GLM-5.2压到1-bit,Mac Studio上跑21 tok/s,创意性居然不输Claude Opus,本地部署党有福了。
Unsloth团队将GLM-5.2模型压缩至1-bit量化版本,在Mac Studio M3 Ultra(256GB RAM)上实现约21 tok/s的推理速度。该量化模型在创意输出任务(如HTML/设计生成)上,能与Claude Opus和GPT-5.5正面对比且不落下风。这显示极端量化后的大模型仍能保留较强表现,展示了开源模型通过优化缩小与闭源前沿模型在实际可用性上的差距。
原文 · berryxia
这下让真的可以让很多人都闭嘴了! Unsloth把GLM-5.2压缩到1-bit后。 本地跑起来居…
这下让真的可以让很多人都闭嘴了! Unsloth把GLM-5.2压缩到1-bit后。
本地跑起来居然还能和Claude Opus、GPT-5.5正面比创意输出。
他们用Mac Studio M3 Ultra 256GB RAM跑1-bit版本,速度还能到21 tok/s左右。
在同一个prompt下生成的HTML/设计效果,看起来甚至比闭源模型更丰富、更“有想法”。
这已经不是简单的量化了,而是把一个原本需要海量显存的超大模型,硬生生塞进了消费级硬件还能打。
GLM-5.2本身就以创意和长上下文见长,现在连极致量化后都还能保持较强的表现,确实有点超出预期。
这也再次验证了一个趋势:开源模型在极端优化后,正在快速缩小和闭源前沿模型在实际可用性上的差距,尤其是在本地部署和特定任务上。
大内存的本子这下真的太香了,Qwen 3.7 这些模型又该迭代版了。