量化相关 AI 资讯

模型 Agent 与开发者11:23

Underdog AI 发布 Saluki 27B：基于 Qwen3.8-27B 的 2-bit 量化版本

Underdog AI 把 Qwen3.8-27B 压到 2-bit，只有 7.89GB 还能跑工具调用，日常推理比原版还强，本机部署党可以试试。

#Underdog AI #Saluki 27B #Qwen3.8-27B #量化

事件专题

IT之家2 个信源在谈原文

产品 Agent 与开发者精选01:12

Qwen-Image-2.1-Turbo GGUF 量化版发布，2.6 GB 起可本地运行

用 Qwen-Image-2.1-Turbo 的人可以下载这些 GGUF 量化，4.2 GB 那档比 llama.cpp 的 Q4_K 失真少 21%，小显存也能本地跑。

#Qwen-Image-2.1-Turbo #GGUF #量化 #图像生成

@atomic_chat_hq@atomic_chat_hq原文

论文 Agent 与开发者10:51

AdamW优化器状态量化新方法

OpenAI团队提出新量化方法，让4-bit AdamW优化器性能接近32-bit，大模型训练存储成本大幅降低。

#AdamW #量化 #ZIP-SR #ZE-EDEN

arXiv cs.LG@Hanyang Li 等 10 人原文

模型 Agent 与开发者多源确认11:09

Emad Mostaque：AI 模型能效已接近人脑

Qwen 27B 从 60GB 压到 6GB 还保住 95% 性能，居然能跑在树莓派上，这条视频讲了具体怎么做的。

#Qwen #Prism ML #模型压缩 #量化

事件专题

rohanpaul_ai@rohanpaul_ai3 个信源在谈原文

论文 Agent 与开发者10:11

分层误差归因方法让混合精度量化提速最高2570倍

一篇量化压缩论文：给每层算局部误差打分来分配比特，不用求解器，分配速度最高快2570倍，校准数据脏了也不崩。

#量化 #混合精度 #模型压缩 #扩散模型

arXiv cs.LG@Samy Houache 等 3 人原文

模型 Agent 与开发者精选07:30

Liquid AI 发布 d1 系列 GGUF 量化模型，可本地运行

Liquid AI 把 d1-3B 和 d1-omni-600M 做成了 GGUF 量化包，最小 256 MB，笔记本就能跑，量化版还能保住 97.1% 的精度，本地部署决策模型可以试试。

#Liquid AI #GGUF #d1 #量化

@atomic_chat_hq@atomic_chat_hq原文

产品 Agent 与开发者精选21:21

vLLM v0.31.0 引入进程恢复功能

vLLM 团队发布新功能，用 CRIU 技术实现进程恢复，比传统冷启动快多了。

#vLLM #CRIU #TP1 #量化

官方账号vLLM@vllm_project原文

技巧 Agent 与开发者多源确认精选01:15

本地AI幻灯片开源分享

Merve Noyann分享的本地AI幻灯片，全面覆盖llama.cpp关键技术点，适合开发者学习参考。

#llama.cpp #幻灯片 #量化 #推测解码

事件专题

Merve Noyan@mervenoyann3 个信源在谈原文

行业 Agent 与开发者09:04

MiniMax 工程师解析量化与投机解码对生产推理的影响

MiniMax 的工程师要拆解量化、投机解码这些加速手段在生产里的隐藏代价，做推理部署的可以去听听 10 月 14 日这场。

#MiniMax #量化 #投机解码 #推理优化

AI Engineer@aiDotEngineer原文

技巧 Agent 与开发者精选00:34

Milvus HNSW 索引量化解析：SQ、PQ 与 PRQ 如何压缩向量

Milvus 官方把 HNSW 的三种量化方案讲清楚了：SQ8/SQ6、PQ、PRQ 各自怎么压缩、省内存多少、代价是什么，做向量检索选型前很值得看。

#Milvus #HNSW #向量检索 #量化

Milvus@milvusio原文

产品 Agent 与开发者71°21:32

Strata 让 Qwen3.8-Flash-Next 125B 在消费级显卡上本地运行

一个开源项目把阿里 Qwen 的 125B 模型量化后塞进了 12GB 显存的消费级显卡，每秒还能跑几十个 token，本地部署玩家可以看看它怎么分配显存和内存。

#Qwen #Strata #本地推理 #开源模型

SuperTechFans原文

论文 Agent 与开发者18:24

MRVQ：单一索引同时支持维度与码率弹性向量检索

搞向量检索的可以看这篇：一份 MRVQ 索引同时搞定降维和降码率，内存省到 20 倍，还老实交代了质量上的取舍。

#MRVQ #向量检索 #量化 #RAG

arXiv cs.AI@Sean Culatana 等 3 人原文

论文 Agent 与开发者精选05:01

ERRC：用熵再投资残差校正优化张量并行 LLM 通信

PyTorch 大会在 San Jose 开，这位大使要讲 ERRC，压缩 GPU 间通信、顺便补量化误差，搞多卡推理的可以看看。

#ERRC #PyTorch #张量并行 #LLM推理

官方账号PyTorch@PyTorch原文

论文 Agent 与开发者10:14

低差异抖动优化量化循环状态缓存

论文提出了一种确定性抖动方法，能显著提升量化语言模型在长文本生成中的性能，无需额外计算成本。

#Mamba #量化 #循环状态 #Weyl抖动

arXiv cs.LG@Snigdha Chandan Khilar原文

论文 Agent 与开发者10:50

STEPQuant：Delta规则循环状态量化研究

清华团队提出STEPQuant，根据误差大小和内存寿命分配精度，在Qwen和Kimi模型上显著降低内存使用。

#STEPQuant #Qwen3.8-27B #Kimi-Linear-48B-A3B-Instruct #量化

事件专题

arXiv cs.AI@Bingchen Yao 等 9 人2 个信源在谈原文

论文 Agent 与开发者10:26

WUSH-KV: KV缓存量化新方法

WUSH-KV用数据自适应变换降低KV缓存量化误差，2-bit性能超越OSCAR，适合长上下文推理场景。

#WUSH-KV #KV缓存 #量化 #SGLang

arXiv cs.LG@Jiale Chen 等 5 人原文

模型 Agent 与开发者多源确认精选73°21:10

社区推出 MiniCPM5-2B 的 EXL3 4-bit 量化版，权重仅 1.61 GB

MiniCPM5-2B 出了 4-bit 量化版，权重才 1.61 GB，T4 上能跑 70 tokens/s，想在自己机器上跑小模型可以试试。

#MiniCPM5-2B #OpenBMB #量化 #本地推理

事件专题

OpenBMB@OpenBMB11 个信源在谈原文

技巧 Agent 与开发者17:04

本地部署大模型何时爆发？作者判断在 2029 年前后

作者用 Qwen3.8-27B 的部署成本算了笔账，结论是本地模型风口不在明年，得等硬件降价，讲得挺实在。

#Qwen3 #本地部署 #开源模型 #量化

Lxfater@lxfater原文

论文 Agent 与开发者10:07

研究：小型本地模型做信息抽取的精度与能耗权衡

本地跑小模型抽文档信息？这篇把能耗账算清了：批处理省 38-85% 电，纯文本场景用文本模型比视觉模型又准又省。

#信息抽取 #OCR #小型模型 #量化

arXiv cs.AI@Christoph Walser 等 3 人原文

论文 Agent 与开发者09:09

Softmax 重参数化方法降低输出头量化损失，Phi-4-mini KL 误差降至 0.256

量化小模型的人可以看看：一个一行搜索就能让输出头 W4 量化的 KL 误差降七成的方法，还附 10.8% 延迟实测。

#量化 #GPTQ #Phi-4-mini #推理优化

arXiv cs.LG@Asim Kadav 等 8 人原文

论文 Agent 与开发者73°00:43

Google 论文：Serverless CPU 上量化 LLM 冷启动 55-70% 延迟来自模型加载

Google 这篇论文拆了 serverless CPU 跑量化小模型的延迟构成，55-70% 耗在加载权重，加内存到 8 GB 就能让推理快近一倍，部署前值得看。

#Google #量化 #LLM推理 #serverless

rohanpaul_ai@rohanpaul_ai原文

产品 Agent 与开发者精选23:14

FIT-GGUF 为 MiniCPM5-2B 带来可控体积的混合精度量化

用 FIT-GGUF 给 MiniCPM5-2B 做了 4 个混合精度量化版，1.14 到 1.46 GiB，还能自定目标体积，比固定 Q4/Q5 灵活多了。

#MiniCPM5-2B #FIT-GGUF #GGUF #量化

OpenBMB@OpenBMB原文

论文 Agent 与开发者10:15

OPD 蒸馏方法让低比特量化模型恢复推理能力

量化到 2-bit 后模型做数学题会发疯循环？这篇论文用 on-policy 蒸馏把 MATH-500 保留率从 35% 拉到 70%，做端侧部署的可以看看。

#量化 #蒸馏 #推理模型 #MATH-500

arXiv cs.LG@Yuanteng Chen 等 10 人原文

模型 Agent 与开发者多源确认精选09:20

SpecQuant框架通过多父量化实现LLM自适应高效推理

这个技术很实用，能让你在本地设备上更高效地运行大语言模型，不用复杂配置，还能根据任务自动选择合适的模型精度。

#SpecQuant #Qwen2.5 #推测解码 #量化

事件专题

arXiv cs.LG@Harish KB 等 5 人11 个信源在谈原文

论文 Agent 与开发者精选09:47

量化大模型中的激活转向研究

这篇论文揭示了量化大模型中激活转向技术的真实表现，特别是推理长度任务中的不对称现象值得开发者关注。

#量化 #激活转向 #LLM #INT8

arXiv cs.LG@Saurav Bhandari, Benjamin Wade原文

论文精选73°11:22

Gated DeltaNet在4位量化中保持性能的机制研究

Minima团队把Qwen3.8-27B全量化到4位，性能不变还更小更快，揭秘了混合模型递归部分为什么好量化。

#Gated DeltaNet #Qwen3.8-27B #NVFP4 #量化

事件专题

arXiv cs.AI@Sergii Kozyrev, Davyd Maiboroda2 个信源在谈原文

论文精选73°10:14

大模型量化损伤结构研究

这篇论文揭示了LLM量化损伤的分布规律，证明全局量化比局部修复更有效，对模型部署有实际指导意义。

#LLMs #量化 #Qwen3-8B #模型压缩

arXiv cs.LG@Jundong Hu, Shekar Ramachandran原文

模型中美对照精选73°12:33

腾讯混元 Hy4 preview 轻量版开源

腾讯把 1.5TB 的 Hy4 模型压缩到 214GB，还能在异构设备上联合推理，速度提升 6 倍。

#混元 #Hy4 preview #Sherry #量化

IT之家原文

论文12:12

高效AI评估基准测试研究

Vector Institute研究团队发现高效AI评估可能改变基准结论，不同优化方式对结果影响各异。

#BBQ #BBQ-V #AI评估 #基准测试

arXiv cs.LG@Ahmed El Kady 等 5 人原文

模型中美对照73°15:06

腾讯Hy4-preview模型压缩至200GB GGUF

腾讯把1.5TB的Hy4-preview压缩到200GB还保持性能，MIX-STQ1_0技术真厉害

#Hy4-preview #GGUF #MIX-STQ1_0 #量化

事件专题

Hunyuan@TXhunyuan2 个信源在谈原文

模型中美对照多源确认精选17:32

Qwen3.8-27B可在笔记本本地运行，Atomic Chat发布量化版

阿里官方转发，Atomic Chat把Qwen3.8-27B量化到1位，8.5GB就能跑，16GB MacBook Air上还能保持92.4%的一致性。

#Qwen3.8-27B #Atomic Chat #量化 #本地部署

事件专题

官方账号阿里通义 Qwen@Alibaba_Qwen7 个信源在谈原文

模型中美对照多源确认01:59

Qwen3.8-27B 可在 17GB 内存本地运行，Unsloth 发布量化版

Qwen3.8-27B 现在靠 Unsloth 动态量化，17GB 内存就能跑，还有 NVFP4 量化版，适合本地尝鲜。

#Qwen3.8-27B #Unsloth #Qwen #本地部署

事件专题

官方账号阿里通义 Qwen@Alibaba_Qwen5 个信源在谈原文

论文17:47

PTQ校准对金融时间序列预测影响的研究

论文用560个模型实测了4比特量化在S&P 500波动率预测上的效果，发现校准方式能决定性能好坏，做量化部署的可以看看。

#PTQ #量化 #金融预测 #S&P 500

arXiv cs.LG@Junyi Ye, Ivy Gateri Wanjiku原文

模型17:44

FQTree：提升决策树的细粒度量化与硬件生成

FQTree把提升决策树的量化做到硬件级，在FPGA上能省26-57%查找表，精度还不掉，做边缘部署的可以看看。

#FQTree #QXGB #决策树 #量化

arXiv cs.LG@Zhiqiang Que 等 9 人原文

论文18:10

ReRound：无校准LLM量化中的中点模糊性新解法

如果你在做低比特量化，ReRound用扩散模型解决RTN的中点模糊，3/4比特下比RTN更准，还不用校准数据，值得看看。

#ReRound #量化 #扩散模型 #RTN

arXiv cs.LG@He-Yen Hsieh, H. T. Kung原文

论文精选10:49

Tied Trit-Planes：将PTQTP约束为九级量化器，用于MoE磁盘流式服务

这篇论文把PTQTP量化器约束成九级格式，在DeepSeek-V4上做到和官方API几乎一样准，还快6.7%、文件小9%，适合搞MoE推理优化的朋友看。

#PTQTP #DeepSeek-V4 #MoE #量化

arXiv: DeepSeek@Matteo Grella原文

模型中美对照多源确认71°11:16

Qwen 27B超Llama 405B，本地AI不再妥协

本地AI真的起来了，27B的Qwen能打赢405B的Llama，GLM 5.2还能压到250GB，普通显卡就能跑。

#Qwen #Llama #GLM 5.2 #本地部署

事件专题

AI Engineer@aiDotEngineer5 个信源在谈原文

技巧 Agent 与开发者精选06:38

推理工程大师课：量化、投机解码与GLM-5.2自优化

Baseten工程师讲推理优化，量化误差能抵消，GLM-5.2自己优化自己，还有20-200%提速空间。

#GLM-5.2 #Baseten #推理优化 #量化

Latent.Space@latentspacepod原文

论文11:31

GQ-FSL：绿色量化联邦分割学习框架

这个新框架把联邦学习和分割学习结合起来，用量化省电，还能控制精度，比传统方法更适合手机这类设备跑大模型。

#GQ-FSL #联邦学习 #量化 #边缘计算

arXiv cs.LG@Idan Roth, Lutz Lampe原文

论文12:32

MixFrag：脆弱性引导的视觉Transformer混合精度训练后量化

MixFrag用KL散度定位模型里对量化最敏感的部分，再把位宽分配变成背包问题。在COCO上比之前最好的混合精度PTQ方法涨了9.6 AP，跑ViT的可以看看。

#MixFrag #量化 #视觉Transformer #PTQ

arXiv cs.LG@Md. Mehrab Hossain Opi 等 3 人原文