Unsloth 把微软开源的 mxc 沙箱接进了 Windows,AI Agent 跑代码不到 100ms 开销,还带资源限额防 fork 炸弹,玩 Agent 的可以试试。
#Unsloth
Unsloth 给 Studio 加了运行前安检:代码指纹审批、权重拦截、CI 检查、沙箱运行,加载 Hugging Face 模型前可以先过一遍。
Unsloth 把 Laya 决策模型做到了 4GB 内存就能本地跑,还能无缝替换 Jev API。做分类决策类应用的朋友可以看看,文章里 confidence 和 probabilities 的坑讲得很实用。
低配显卡党福音:Unsloth 把 Qwen-Image-2.1 量化到 12GB 显存就能本地生图,6GB 显存走 FP8 offloading 也能跑,质量还对标 Nano Banana 2.0。
Qwen3.8-27B 现在靠 Unsloth 动态量化,17GB 内存就能跑,还有 NVFP4 量化版,适合本地尝鲜。
Unsloth搞了个DSpark,能让DeepSeek-V4-Flash在本地跑快一两倍,每秒120 tokens,精度不变,自己部署更爽了。
想微调LLM选框架?这篇对比了Unsloth、Axolotl、TRL和LLaMA-Factory,讲清了各自的速度、显存和多GPU表现,帮你快速决策。
想用Unsloth量化模型上AWS?这篇教你四种部署方式,从直接跑EC2到托管SageMaker,还能用K8s跑,生产技巧也全。
Unsloth把GLM-5.2压到1-bit,Mac Studio上跑21 tok/s,创意性居然不输Claude Opus,本地部署党有福了。
Unsloth 把 1.5TB 的 GLM-5.2 压到 238GB,本地就能跑,准确率还能保住 82%。有 256GB 内存的 Mac 就能玩,开源模型天花板。
Unsloth把1万亿参数的Kimi K2.7 Code压到325GB本地能跑,速度40+ tok/s,长程推理和agent工作流全闭环,开源社区终于能自己跑了。
做垂直任务微调的开发者值得关注——DiffusionGemma 的双向注意力让数独这类全局约束问题有了新解法,建议试试在自家任务上微调对比效果。