17:26berryxia@berryxiaUnsloth团队将GLM-5.2模型压缩至1-bit量化版本,在Mac Studio M3 Ultra(256GB RAM)上实现约21 tok/s的推理速度。该量化模型在创意输出任务(如HTML/设计生成)上,能与Claude Opus和GPT-5.5正面对比且不落下风。这显示极端量化后的大模型仍能保留较强表现,展示了开源模型通过优化缩小与闭源前沿模型在实际可用性上的差距。AI模型UnslothGLM-5.2量化开源模型本地部署推荐理由:Unsloth把GLM-5.2压到1-bit,Mac Studio上跑21 tok/s,创意性居然不输Claude Opus,本地部署党有福了。原文
00:02Geek@geekbb精选Unsloth AI 将最强开源模型 GLM-5.2 从 1.51TB 压缩至 238GB(缩小 84%),2-bit 量化版本保留约 82% 准确率。该模型可在 256GB Mac 或同等 RAM/VRAM 配置上本地运行。官方指南和 GGUF 文件已在 Hugging Face 发布。AI模型GLM-5.2Unsloth本地运行模型压缩开源模型推荐理由:Unsloth 把 1.5TB 的 GLM-5.2 压到 238GB,本地就能跑,准确率还能保住 82%。有 256GB 内存的 Mac 就能玩,开源模型天花板。原文
14:05berryxia@berryxia78°Unsloth团队用Dynamic 2-bit方案将1万亿参数的Kimi K2.7 Code模型压缩48%,重要层保留更高精度。量化后模型仅需325GB RAM/VRAM即可本地运行,推理速度达40+ tok/s。全精度版本需要610GB显存。该优化并非粗暴量化,而是保留了模型的推理效率,尤其适合长程任务、复杂推理和agent工作流。AI模型Kimi K2.7 CodeUnsloth量化本地部署开源模型4 个信源在谈推荐理由:Unsloth把1万亿参数的Kimi K2.7 Code压到325GB本地能跑,速度40+ tok/s,长程推理和agent工作流全闭环,开源社区终于能自己跑了。原文
11:24小互@imxiaohu精选DiffusionGemma 模型支持微调,Unsloth 团队已成功演示通过微调让该模型学会解数独。这利用了双向注意力的优势,解决了自回归模型在全局约束任务上的天然短板。在特定垂直任务上,微调后的 DiffusionGemma 质量有望追上甚至超越自回归模型。这一进展为扩散模型在需要全局推理的领域打开了新可能。AI模型DiffusionGemma微调双向注意力数独Unsloth推荐理由:做垂直任务微调的开发者值得关注——DiffusionGemma 的双向注意力让数独这类全局约束问题有了新解法,建议试试在自家任务上微调对比效果。原文