#量化模型

共 7 条 · 7 天 1 条 · 30 天 2 条

信息流里打上「量化模型」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月4日

一张 RTX 3090 把 27B 模型跑到每秒 273 token，作者自己写的引擎，速度直接把普通部署方案甩开了。

Lxfater@lxfater原文

9月22日

产品官方一手21:32

Hugging Face让Transformers支持llama.cpp量化，现在CPU也能跑大模型了

官方一手Hugging Face: Blog3 个信源在谈原文

7月15日

腾讯把295B的模型压到1-bit和4-bit，单卡就能跑，用llama.cpp就能玩，赶快试试。

Hunyuan@TXhunyuan原文

给想低成本跑大模型的开发者参考：用Qwen3量化版，M1 Pro就能流畅做本地任务。

berryxia@berryxia原文

模型中美对照官方一手07:00

PrismML 把 Qwen3.6-27B 压到 5.9GB，手机都能本地跑，还全开源，适合离线使用。

官方一手marktechpost@Asif Razzaq原文

7月10日

技巧 Agent 与开发者官方一手精选23:29

想用Unsloth量化模型上AWS？这篇教你四种部署方式，从直接跑EC2到托管SageMaker，还能用K8s跑，生产技巧也全。

官方一手AWS Machine Learning Blog@Michael Battaglia原文

6月6日

模型中美对照官方一手精选02:59

Gemma 4 量化版来了，内存省 75%

官方一手marktechpost@Asif Razzaq11 个信源在谈原文