#量化
这篇论文发了KroQuant，用Kronecker结构做激活变换，W4A4量化又快又准，比SVDQuant和LoRaQ结果好，还省参数。
Google 工程师教你怎么在手机上 21 分钟微调一个小模型，从 46% 干到 90%，比花 1500 美元买课还快。
PrismML 这技术能把 27B 模型塞进 iPhone，内存从 54G 砍到 4G 不到，苹果都在看，手机跑大模型要成真了。
27B的模型在手机上跑，内存不到5GB，PrismML的Bonsai做到了。以后手机AI不连网也能用大模型了。
想给图像或视频扩散模型做低位量化？OrbitQuant不需要每换一个模型或任务就重跑校准，FLUX.1、Wan 2.1上表现都很能打，W2A4也有可用效果。
Unsloth把GLM-5.2压到1-bit，Mac Studio上跑21 tok/s，创意性居然不输Claude Opus，本地部署党有福了。
Unsloth把1万亿参数的Kimi K2.7 Code压到325GB本地能跑，速度40+ tok/s，长程推理和agent工作流全闭环，开源社区终于能自己跑了。
做移动端或边缘部署的开发者终于可以跑 Gemma 4 了——内存降到 1GB 意味着手机和 IoT 设备也能用，建议直接去 Hugging Face 拉下来试试。
QAT 解决了模型压缩后推理质量下降的痛点，做移动端 AI 部署的开发者可以直接用这些检查点，在手机上跑大模型不再吃内存。
想量化自己到底有多重度使用 AI？npx standout 让你一秒看到排名，重度 AI 用户值得一试，看看自己是不是前 1%。
低精度训练是降低大模型成本的关键，但数值不稳定常让训练白费。GNMR用轻量控制解决了这个痛点，做大规模训练或量化训练的团队值得关注，可以直接集成到现有流程中。
做机器人或边缘部署VLA模型的团队终于有了统一量化方案——内存省71%且性能不降，Pi 0.5和GR00T N1.5用户可以直接用代码复现。
OrpQuant解决了低比特量化中特征流形退化的问题，做边缘部署的开发者可以直接用这个15分钟校准的方案替代传统MAC密集型方法，硬件效率显著提升。
长上下文 LLM 推理的内存瓶颈终于有了实用解法——OSCAR 在 2-bit 量化下几乎不损失精度，做长文档/多轮对话推理的团队可以直接集成，显著降低硬件成本。
做多语言翻译或端侧部署的团队终于有了一个又快又准的选择——1.8B 量化后 440MB 就能跑，性能还超过微软豆包 API，值得直接上手试。
做智能体LLM部署的团队终于有了兼顾速度和精度的量化方案——Mix-Quant 解决了预填充慢、解码不准的痛点，建议做推理优化的开发者点开看看。
做多语言翻译的开发者终于有了能本地跑的开源模型——Hy-MT2 的 1.8B 版本比微软 API 还强，且量化后仅 440MB，手机芯片就能推理，建议直接下载试试。
做向量检索或使用 Qdrant 的团队，TurboQuant 能帮你用更少存储获得更好召回，值得关注 5 月 26 日的技术分享。
