Event ·Multi-source

MIT 与 NVIDIA 提出 QDA:用智能体自动搜索最优量化配方

MIT 与 NVIDIA 发布论文 QDA(arXiv:2611.23388),把大模型低比特量化的配方设计交给智能体自动完成。传统方法里,每种模型和精度组合(如 W4A16、W4A8、W3A16)都需要专家手工调整流程,而 QDA 让智能体在多轮迭代中自动构建、测试候选方案,在三种精度设置下分别超过最强公开配方 0.9、1.4 和 2.2 分,每次搜索仅消耗 64 GPU 小时。 核心技术突破在评估速度:传统上给一个量化后的推理模型打分需要数十 GPU 小时,QDA 改为在智能体未见过的推理轨迹上测量量化模型与原始模型的输出 KL 散度,把单次评分压缩到几分钟。 promising 的候选方案再通过长文本生成来检测重复循环问题。系统还内置公开 PTQ 方法库,智能体可以直接组合不同方法而无需逐个移植代码库。 实际效果方面,在 320B MoE 模型 GLM-5.3-Flash 的 NVFP4 W4A4 量化上,QDA 恢复了 FP8 精度的 98.3%,高于最佳厂商 checkpoint 的 96.9%。所有产出的 checkpoint 都能运行在现有 serving kernel 上,不引入推理开销。

Current read

MIT 和 NVIDIA 的这篇论文解决了个量化配方要靠专家手调的痛点。用 KL 散度几分钟就能筛掉差方案,GLM-5.3-Flash 上比厂商官方 checkpoint 还高 1.4 个点。跑推理服务、做模型压缩的工程团队值得看看。

11 sources31° AI heatLast updated 2026/11/19 20:45:03

Evidence

11 sources
Related source 2The Information
View source
Related source 3NVIDIA AI
View source
Related source 5Rowan Cheung
View source
Related source 6kimmonismus
View source
Related source 9PolymarketMoney
View source
Related source 10Epoch AI
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.