Chinese content开发者自研推理引擎 tqllm，单卡 RTX 3090 跑 Qwen 27B 达每秒 273 token
一张 RTX 3090 把 27B 模型跑到每秒 273 token，作者自己写的引擎，速度直接把普通部署方案甩开了。
#quantized models
7 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "quantized models", newest first.
Oct 4
Sep 22
Jul 15
Chinese content腾讯混元发布Hy3 1-bit/4-bit版本，295B模型单GPU可运行
腾讯把295B的模型压到1-bit和4-bit，单卡就能跑，用llama.cpp就能玩，赶快试试。
Chinese content用Qwen3量化模型Ternary-bonsai-27b-mlx-2bit本地部署体验
给想低成本跑大模型的开发者参考：用Qwen3量化版，M1 Pro就能流畅做本地任务。
Chinese contentPrismML 发布 Bonsai 27B：Qwen3.6-27B 的 1-bit 和三元量化版本，可在笔记本和手机上运行
PrismML 把 Qwen3.6-27B 压到 5.9GB，手机都能本地跑，还全开源，适合离线使用。
Jul 10
Chinese content在Amazon SageMaker AI上用Unsloth部署量化模型的四种模式
想用Unsloth量化模型上AWS？这篇教你四种部署方式，从直接跑EC2到托管SageMaker，还能用K8s跑，生产技巧也全。
Jun 6