量化相关 AI 资讯

7月10日

12:12

官方账号arXiv cs.AI@Baha Rababah, Cuneyt Gurcan Akcora, Carson K. Leung

该论文提出了正确性一致性（correctness agreement）指标，用于衡量基础模型与量化变体在正确预测上的重叠程度。在8-bit至2-bit的多种量化方案下，发现即使任务性能看似保持，中等量化也会导致行为分歧。分析表明查询和键投影的敏感性高于值和输出投影，揭示了低比特宽度的非线性断点。这些发现指出仅依赖准确率和困惑度会掩盖量化的真实影响。

论文 LLM 量化模型评估推理模型

推荐理由：这篇论文用新指标发现，量化后的模型即使分数不变，行为也可能跑偏，搞模型部署的同学建议看看。

原文

7月3日

11:32

官方账号arXiv cs.AI@Donghyun Lee, Jitesh Chavan, Duy Nguyen, Sam Huang, Liming Jiang, Priyadarshini Panda, Timo Mertens, Saurabh Shukla

OrbitQuant提出一种数据无关的权重量化方案，通过随机置换块Hadamard（RPBH）旋转将激活值变换到归一化旋转基，使各坐标分布固定无需重新拟合校准数据。在FLUX.1、Z-Image-Turbo、Wan 2.1、CogVideoX四个模型上，该方法在多个低位宽设定下达到后训练量化（PTQ）最佳效果，并将图像扩散Transformer的PTQ推进到W2A4可用质量。同一量化器可直接从图像迁移到视频，无需针对每种模态调整。

AI模型 OrbitQuant 扩散Transformer 量化 FLUX.1 Wan 2.1

推荐理由：想给图像或视频扩散模型做低位量化？OrbitQuant不需要每换一个模型或任务就重跑校准，FLUX.1、Wan 2.1上表现都很能打，W2A4也有可用效果。

原文

7月2日

23:29

官方账号LMSYS Org (SGLang)@lmsysorg

76°

NVIDIA推出Qwen3.6-27B-NVFP4模型，采用4位浮点量化，模型大小仅为BF16版本的约1/2.5。该模型在MMLU Pro基准上达到86.3分，与FP8版本性能几乎无损。上下文长度完整保留262K。SGLang已提供Day-0支持，并附带cookbook。

AI模型 Qwen3.6-27B-NVFP4 NVIDIA SGLang 量化推理模型

推荐理由：NVIDIA新出的Qwen3.6-27B模型，4位量化体积小很多但精度没怎么降，SGLang直接就能用，可以去试试。

原文

05:48

@koltregaskes@koltregaskes

精选79°

OpenAI近期通过纯软件优化将推理成本降低了约50%，工程师利用更好的批处理和KV-cache管理提升了GPU利用率。该优化已部署到ChatGPT的登录用户流量中，GPU需求降至仅数百块。部分人猜测这是通过量化实现，并可能关联到近期ChatGPT质量下降的投诉。

行业 OpenAI 推理成本 KV-cache 量化软件优化

推荐理由：OpenAI没换硬件，靠软件就把推理成本砍了一半。这对模型成本和用户体验可能都有影响，值得了解。

原文

6月25日

17:26

berryxia@berryxia

Unsloth团队将GLM-5.2模型压缩至1-bit量化版本，在Mac Studio M3 Ultra（256GB RAM）上实现约21 tok/s的推理速度。该量化模型在创意输出任务（如HTML/设计生成）上，能与Claude Opus和GPT-5.5正面对比且不落下风。这显示极端量化后的大模型仍能保留较强表现，展示了开源模型通过优化缩小与闭源前沿模型在实际可用性上的差距。

AI模型 Unsloth GLM-5.2 量化开源模型本地部署

推荐理由：Unsloth把GLM-5.2压到1-bit，Mac Studio上跑21 tok/s，创意性居然不输Claude Opus，本地部署党有福了。

原文

10:38

官方账号arXiv cs.LG@Kamar Hibatallah Baghdadi, Kawther Guoual Belhamidi, Sara Belhadj, Aissa Boulmerka, Nadir Farhi

HiReLC是一个分层集成强化学习框架，用于深度神经网络的自动联合量化与结构化剪枝。低层智能体按块独立选择位宽、剪枝保留比、量化类型和粒度，高层智能体基于Fisher信息估计协调全局预算分配。框架使用轻量MLP代理进行奖励塑造，降低策略评估成本。在Vision Transformer和CNN基准上，实现参数存储压缩比5.99-6.72倍，一个设定下准确率提升3.83%，其他设定准确率下降0.55-5.62%。

论文 HiReLC Vision Transformer CNN 剪枝量化

推荐理由：这个框架能自动给神经网络做剪枝和量化，压缩比达到6倍多，准确率几乎不掉，适合做模型部署。

原文

6月24日

09:43

官方一手arXiv: DeepSeek@Fengfeng Liang, Yuechen Zhang, Jiaya Jia

精选

Block-GTQ是一种针对RoPE注意力机制的KV缓存量化位分配方法，基于TurboQuant-MSE构建。它在每个层和注意力头上计算RoPE块的能量得分，通过贪心分配整数位宽。在2和3比特每维度仅量化键的实验中，Block-GTQ在10个模型上使每层平均绝对误差降低32-80%，并赢得全部367个层比较。在Llama-3.1-8B-Instruct上以K2V2配置，NIAH六任务平均从70.6提升至97.4，LongBench英文平均从36.87提升至53.31。在DeepSeek-R1-Distill-Qwen-7B上以K3V2配置，AIME 2024/2025得分51.7/37.5，接近fp16的54.2/37.9，而均匀量化降为0.0/0.0。在H800上对Qwen2.5-3B-Instruct实现3.24倍压缩，128K上下文比fp16 FlashAttention2快1.34倍，峰值内存从56.31GB降至19.85GB。

论文 Block-GTQ RoPE KV缓存量化长上下文量化

推荐理由：这篇论文用RoPE感知的位分配方案，在KV缓存量化上显著提升长上下文检索和推理，效果逼平fp16，值得研究量化的朋友细读。

原文

6月18日

09:21

官方一手arXiv: DeepSeek@Yifu Ding, Jiacheng Wang, Ge Yang, Yongcheng Jing, Jinyang Guo, Xianglong Liu, Dacheng Tao

精选

该论文针对混合专家(MoE)模型部署时内存和推理开销大的问题，提出一种结构剪枝框架。方法将剪枝比率分配转化为通道分数覆盖最大化问题，通过归因近似高效求解。在DeepSeek和Qwen MoE模型上实验，结合4-bit量化后，50%或25%结构化剪枝仍保持模型准确率。在Qwen3-30B-A3B上，内存占用减少5.27倍，优于现有基线。

论文 MoE 结构剪枝量化 DeepSeek Qwen

推荐理由：想省显存又怕掉精度？这篇论文用通道级剪枝加4-bit量化，把MoE模型体积砍到1/5还能保住性能，DeepSeek和Qwen都能用。

原文

6月16日

14:05

berryxia@berryxia

78°

Unsloth团队用Dynamic 2-bit方案将1万亿参数的Kimi K2.7 Code模型压缩48%，重要层保留更高精度。量化后模型仅需325GB RAM/VRAM即可本地运行，推理速度达40+ tok/s。全精度版本需要610GB显存。该优化并非粗暴量化，而是保留了模型的推理效率，尤其适合长程任务、复杂推理和agent工作流。

AI模型 Kimi K2.7 Code Unsloth 量化本地部署开源模型

推荐理由：Unsloth把1万亿参数的Kimi K2.7 Code压到325GB本地能跑，速度40+ tok/s，长程推理和agent工作流全闭环，开源社区终于能自己跑了。

原文

6月12日

09:37

官方账号arXiv cs.LG@Mariya Pavlova, Harrison Bo Hua Zhu, Elizsveta Semenova, Yingzhen Li

该论文提出了一种名为轨迹量化敏感度分数（TQS）的新指标，将时序模型的量化问题重新定义为动力系统的稳定性分析。TQS通过将模型推理视为离散时间动力系统，量化了量化误差在时间步上的传播和放大效应。与传统的后训练量化方法不同，TQS可以独立于量化器选择和位宽分配进行敏感度估计，适用于黑盒或编译后的网络。基于TQS，作者提出了TQS-PTQ框架，无需校准数据或二阶近似即可实现混合精度量化。实验表明，该视角在资源受限场景下提供了稳健且高性能的低精度部署方案。

论文量化时序模型动力系统低精度部署混合精度

推荐理由：时序模型部署时量化误差会随时间累积，TQS用动力系统理论解决了这一痛点，做边缘设备或IoT部署的工程师可以直接参考。

原文

6月8日

22:52

Philipp Schmid@_philschmid

精选72°

Google 发布了新的 Gemma 4 QAT（量化感知训练）检查点，在保持相似性能的同时，将内存占用降低约 4 倍。该版本引入了一种新的移动端量化格式，将 Gemma 4 E2B 的内存占用降至仅 1GB。QAT 通过在训练过程中模拟低精度运算，实现无损量化，从而得到更小、更快的模型。这些检查点已在 Hugging Face 上提供，可直接运行。

AI模型 Gemma 4 QAT 量化移动端部署 Hugging Face

推荐理由：做移动端或边缘部署的开发者终于可以跑 Gemma 4 了——内存降到 1GB 意味着手机和 IoT 设备也能用，建议直接去 Hugging Face 拉下来试试。

原文

6月6日

08:26

rohanpaul_ai@rohanpaul_ai

精选72°

Google 发布了 Gemma 4 的 QAT（量化感知训练）检查点，将最小模型从 11.4GB 压缩至 1.1GB，纯文本版本仅 0.84GB。与传统的 PTQ（训练后量化）不同，QAT 在训练过程中模拟压缩，让模型学会在权重被压缩时保持推理质量。Google 还构建了针对移动端的格式，包括静态激活、通道级量化、目标 2 位量化和 KV 缓存优化，减少手机计算负担，延长长对话的内存使用。这使得 Gemma 4 更容易在手机和笔记本上运行，降低了部署门槛。

AI模型 Gemma 4 量化移动端部署 QAT 模型压缩

推荐理由：QAT 解决了模型压缩后推理质量下降的痛点，做移动端 AI 部署的开发者可以直接用这些检查点，在手机上跑大模型不再吃内存。

原文

04:43

elvis@omarsar0

一款名为 standout 的命令行工具可以统计你的 AI 使用情况，生成使用报告和排名。用户只需在终端运行 `npx standout`，即可获得自己的 AI 使用分数和百分位排名。该工具由 Alexis Aftalion 开发，旨在让用户量化自己的 AI 使用习惯。一位用户测试后发现自己位列前 1%，并推荐给其他人。

AI产品 AI 使用统计命令行工具 npx standout 排名量化

推荐理由：想量化自己到底有多重度使用 AI？npx standout 让你一秒看到排名，重度 AI 用户值得一试，看看自己是不是前 1%。

原文

04:19

Paul Couvert@itsPaulAi

88°

Google 发布了 Gemma 4 QAT 模型，相比前代内存需求降低 3 倍，使得高性能模型能在本地设备上运行。其中 Gemma 4 E4B 模型性能优于 GPT-4o，仅需 2GB RAM 即可在手机上运行。而 Gemma 4 31B 模型（约 Opus 4 级别）现在可以在笔记本电脑上运行。这标志着本地 AI 部署的重大突破，让更多用户无需依赖云端即可使用强大模型。

AI模型 Google Gemma 4 本地 AI 模型压缩量化

推荐理由：本地 AI 爱好者终于等到了——Gemma 4 QAT 让旗舰级模型跑在手机和笔记本上，做边缘计算或隐私敏感应用的开发者可以直接试试。

原文

6月5日

02:33

官方账号Andrew Ng@AndrewYNg

Andrew Ng 联合 RedHat 推出新课程，教你如何高效服务大语言模型，以低延迟和合理成本处理大量并发用户。课程核心包括量化降低模型内存占用（如 70B 模型权重约 140GB）以及使用 vLLM 的智能内存管理（如 KV 缓存）来提升并发处理能力。学员将学会量化模型并权衡精度、用 vLLM 部署并观察并发效果、以及基准测试以在速度、成本和精度间做决策。课程适合想优化 LLM 部署的开发者，可直接在 deeplearning.ai 上学习。

AI产品 LLM 服务量化 vLLM RedHat Andrew Ng

推荐理由：做 LLM 部署的开发者终于有了系统课程——量化降内存 + vLLM 处理并发，直接上手就能优化成本，建议点开学。

原文

6月2日

12:06

官方一手arXiv: DeepSeek@Boao Kong, Weichen Jia, Engao Zhang, Guohong Li, Yonghan Dong, Yao Wang, Yaoyuan Wang, Yunke Peng, Kun Yuan

低精度训练在降低大模型训练成本的同时，常因少数算子的数值不稳定导致训练失败。论文提出GNMR（梯度范数与均值比）轻量控制器，通过比较当前梯度范数与历史均值，并结合Δ-GNMR检测短窗口内的突变，在固定预算和锁定间隔内执行恢复操作，无需改变数值格式或底层实现。在激活量化、DeepSeek式训练和LLaMA-2 13B微调等场景中，GNMR以稀疏的恢复动作保持高保真质量。该方法为低精度训练提供了一种后端无关的稳定性控制方案。

论文低精度训练训练稳定性 GNMR 大模型量化

推荐理由：低精度训练是降低大模型成本的关键，但数值不稳定常让训练白费。GNMR用轻量控制解决了这个痛点，做大规模训练或量化训练的团队值得关注，可以直接集成到现有流程中。

原文

5月28日

11:58

官方账号arXiv cs.LG@Xinyu Wang, Mingze Li, Sicheng Lyu, Dongxiu Liu, Kaicheng Yang, Ziyu Zhao, Yufei Cui, Xiao-Wen Chang, Peng Lu

精选

Ω-QVLA是首个无需训练的后训练量化框架，能将视觉-语言-动作模型的语言骨干和扩散动作头统一压缩至W4A4精度，打破此前认为动作头必须混合精度的认知。它通过复合SVD-Hadamard旋转均衡权重能量并分散激活异常值，结合逐步骤的DiT激活缩放量化吸收去噪步间的动态范围漂移。在LIBERO基准上，Pi 0.5和GR00T N1.5经量化后任务成功率分别达98.0%和87.8%，与FP16参考值持平或略优，静态内存占用降低71.3%。真实机器人操作实验也验证了其流畅精准的控制能力。代码已开源。

论文量化 VLA模型 Pi 0.5 GR00T N1.5 内存压缩

推荐理由：做机器人或边缘部署VLA模型的团队终于有了统一量化方案——内存省71%且性能不降，Pi 0.5和GR00T N1.5用户可以直接用代码复现。

原文

5月26日

11:45

官方账号arXiv cs.AI@Maoyang Xiang, Bo Wang, Tao Luo

精选

OrpQuant提出了一种名为正交残差投影（ORP）的算法-硬件协同设计框架，用于解决低比特Power-of-Two（PoT）量化中的低角度分辨率问题。该方法通过双基几何投影自适应合成更高分辨率的残差格点，仅使用移位和加法操作，避免了乘法器。在LLaMA-2-7B上，3比特量化（W3/A16）下困惑度达到6.10，与AWQ等MAC密集型方法相当，且全模型校准仅需约15分钟。在28nm工艺下，RTL综合表明ORP有效缓解了密集乘法器树的时序瓶颈。该工作适用于LLM和ViT的边缘部署。

论文量化边缘部署 LLM ViT 硬件效率

推荐理由：OrpQuant解决了低比特量化中特征流形退化的问题，做边缘部署的开发者可以直接用这个15分钟校准的方案替代传统MAC密集型方法，硬件效率显著提升。

原文

05:31

官方一手marktechpost@Asif Razzaq

72°

Together AI 开源了 OSCAR，一种面向长上下文 LLM 推理的 INT2 KV 缓存量化方法。与依赖数据无关的 Hadamard 变换不同，OSCAR 通过离线估计注意力感知的协方差结构，为键和值分别推导旋转矩阵。在 Qwen3-4B-Thinking-2507 和 Qwen3-8B 上，OSCAR 以每 KV 元素 2.28 比特的精度，将 BF16 精度差距分别缩小至 3.78 和 1.42 分。该方法可实现约 8 倍的 KV 内存缩减，并在 100K 上下文长度下带来最高 3 倍的解码加速。

AI模型量化 KV 缓存长上下文 Together AI 推理优化

推荐理由：长上下文 LLM 推理的内存瓶颈终于有了实用解法——OSCAR 在 2-bit 量化下几乎不损失精度，做长文档/多轮对话推理的团队可以直接集成，显著降低硬件成本。

原文

5月22日

10:45

官方一手arXiv: DeepSeek@Mao Zheng, Zheng Li, Tao Chen, Bo Lv, Mingrui Sun, Mingyang Song, Jinlong Song, Hong Huang, Decheng Wu, Hai Wang, Yifan Song, Yanfeng Chen, Guanwei Zhang, Guanghua Yu, Yi Su, Hong Liu, Jinxiang Ou, Keyao Wang, Weile Chen, Haozhao Kuang, Kai Wang, Nuo Chen, Zihao Zheng, Chenhao Wang, Bin Xing, Chengcheng Xu, Tinghao Yu, Binghong Wu, Long Xu, Jiacheng Shi, Yunhao Wang, Baifang Chen, Lei Zhang, Qi Yang, Zhao Wu, Jiacheng Li, Lan Jiang, Lanrui Wang, Kai Zhang, Shuaipeng Li, Zhongzhi Chen, Weixuan Sun, Jiaqi Zhu, An Wang, Wei Li, Jun Xia, Weidong Han, Wutian Yang, Litong Hui, Luoguo Jia, Jiajia Wu, Xinpeng Zhou, Tianxiang Fei

精选

Hy-MT2 是一系列面向复杂真实场景的快速多语言翻译模型，包含 1.8B、7B 和 30B-A3B（MoE）三个尺寸，支持 33 种语言间的翻译。通过 AngelSlim 1.25-bit 极端量化，1.8B 模型仅需 440MB 存储，推理速度提升 1.5 倍，适合端侧部署。在通用、商业、领域和指令跟随翻译任务中，7B 和 30B 模型在快速思考模式下超越 DeepSeek-V4-Pro 和 Kimi K2.6 等开源模型，1.8B 模型整体也优于微软和豆包等主流商业 API。该工作为多语言翻译提供了高效且强大的新选择。

AI模型多语言翻译 Hy-MT2 端侧部署量化开源模型

推荐理由：做多语言翻译或端侧部署的团队终于有了一个又快又准的选择——1.8B 量化后 440MB 就能跑，性能还超过微软豆包 API，值得直接上手试。

原文

01:41

AK@_akhaliq

Mix-Quant 是一种针对智能体大语言模型（LLM）的量化方法，旨在解决预填充阶段（Prefilling）和精确解码（Precise Decoding）的平衡问题。该方法通过量化预填充来加速推理，同时保持解码阶段的精度，特别适用于需要快速响应和准确输出的智能体应用。Mix-Quant 在保持模型性能的同时，显著降低了计算成本和内存占用，为智能体系统的部署提供了更高效的方案。该技术有望推动智能体LLM在实时交互和资源受限场景中的实际应用。

AI模型量化智能体推理优化 Mix-Quant LLM

推荐理由：做智能体LLM部署的团队终于有了兼顾速度和精度的量化方案——Mix-Quant 解决了预填充慢、解码不准的痛点，建议做推理优化的开发者点开看看。

原文

5月21日

20:19

Hunyuan@TXhunyuan

腾讯混元发布 Hy-MT2 开源多语言翻译模型，支持 33 种语言无缝互译。7B 和 30B-A3B 版本在多项翻译任务上超越参数大数十倍的模型，轻量 1.8B 版本甚至优于微软等商业 API。模型采用腾讯 AngelSlim 1.25-bit 极致量化，仅需 440MB 存储，可在主流移动芯片上本地推理，速度比 Hy-MT1.5 快 1.5 倍。项目已在 GitHub、Hugging Face 等平台开源。

AI模型开源/仓库翻译模型腾讯混元量化多语言

推荐理由：做多语言翻译的开发者终于有了能本地跑的开源模型——Hy-MT2 的 1.8B 版本比微软 API 还强，且量化后仅 440MB，手机芯片就能推理，建议直接下载试试。

原文

5月19日

13:07

Qdrant@qdrant_engine

Qdrant 宣布其向量数据库现已集成 TurboQuant 量化技术。相比现有的 SQ（标量量化）和 BQ（二进制量化），TurboQuant 在相同存储预算下提供比 BQ 更好的召回率，同时达到约 2 倍压缩比且召回率与 SQ 相当。这为需要高效向量存储和检索的用户提供了新的选择。Qdrant 将于 5 月 26 日举办线上技术会议，详解 TurboQuant 原理、基准测试和实际应用场景。

AI产品向量数据库量化 Qdrant TurboQuant 召回率

推荐理由：做向量检索或使用 Qdrant 的团队，TurboQuant 能帮你用更少存储获得更好召回，值得关注 5 月 26 日的技术分享。

原文

5月15日

11:17

官方账号arXiv cs.LG@Saisab Sadhu, Pratinav Seth, Vinay Kumar Sankarapu

精选73°

现有机器遗忘评估仅在全精度模型上进行，但实际部署的语言模型都会经过量化。研究发现，4-bit量化可以逆转梯度下降法的遗忘效果，而能抵抗量化的方法又几乎不改变模型。MANSU通过因果电路归因定位最小遗忘子图，结合零空间投影和参数幅度下限，首次实现了遗忘效果在量化后不反弹。该方法还提出了电路归因散度（CAD）作为新的验证指标，能区分结构擦除与行为抑制。实验表明，MANSU在多个模型和基准上同时满足遗忘、保留、抗量化和结构擦除四个目标。

论文机器遗忘量化因果归因模型安全 MANSU

推荐理由：量化会悄悄恢复你辛苦抹掉的知识——MANSU解决了这个部署中的致命漏洞，做模型安全和对齐的团队值得关注这个新方法。

原文

09:53

官方账号arXiv cs.AI@Thomas Witt

精选73°

XFP是一种针对大语言模型推理的动态权重量化器，它颠覆了传统工作流：用户只需指定每通道余弦相似度的重建质量阈值（注意力与共享专家用严格阈值，路由专家MoE用宽松阈值），XFP自动确定码本大小、异常值预算和每层打包方式，无需Hessian矩阵、校准数据或手动位宽选择。每个权重矩阵被分解为稀疏fp16异常值残差和密集的子字节索引张量（指向每组的可学习码本）。在Qwen3.5-122B-A10B模型上，XFP在RTX PRO 6000 Blackwell工作站上实现138 tok/s单流解码，GSM8K准确率94.49%，比Marlin INT4快49%。对于无法装入目标内存的模型，XFP提出H-Process：通过迭代两个余弦阈值找到刚好能装入模型且输出合理的操作点。在Qwen3.5-397B-A17B上，H-Process将全部专家装入2×96 GB内存（约3.4有效比特），实现100.9 tok/s长输出解码，GSM8K准确率66.72%，在内存、吞吐量和准确率上同时超越带路由专家剪枝的INT4。

论文量化 LLM推理码本量化异常值分离 XFP

推荐理由：XFP解决了LLM量化中手动调参和校准数据依赖的痛点，做模型部署和推理优化的团队可以直接用上自动化的高质量量化方案，省去大量调参时间。

原文

5月14日

13:27

官方账号arXiv cs.AI@Or Ordentlich, Yury Polyanskiy

精选

本文是量化矩阵乘法研究的第二部分，探讨在第二因子列协方差矩阵已知时的量化策略，该场景常见于大语言模型的权重量化后训练。作者展示了经典的水填充法（waterfilling）如何改进现有LLM量化算法（如GPTQ），后者目前均匀分配比特率。分析表明，仅使用标量INT量化器的WaterSIC方案在高率下性能与信息论极限相差仅0.25比特/条目，且不受随机旋转影响。而GPTQ在随机旋转下与WaterSIC差距在0.1比特以内，表明其在高率下也接近最优。

论文量化 LLM 水填充法 GPTQ 权重量化

推荐理由：做LLM量化的开发者终于有了理论指导——水填充法比均匀分配更优，GPTQ加随机旋转就能接近极限，建议做权重量化的团队点开看看具体实现。

原文

5月13日

19:12

官方账号arXiv cs.LG@Tanmaey Gupta, Hayden Prairie, Xiaoxia Wu, Reyna Abhyankar, Qingyang Wu, Austin Silveria, Pragaash Ponnusamy, Jue Wang, Ben Athiwaratkun, Leon Song, Tri Dao, Daniel Y. Fu, Chris De Sa

精选

量化是加速生成模型推理的标准技术，但传统块浮点（BFP）格式使用基于块最大幅度的固定缩放因子，可能导致量化误差次优。本文提出ScaleSearch方法，通过细粒度搜索利用微缩放格式的尾数位，最小化量化误差。ScaleSearch可集成于后训练量化（PTQ）和低精度注意力机制，实验显示NVFP4量化误差降低27%，Qwen3-8B在MATH500上PTQ提升15点。此外，ScaleSearchAttention算法在Llama 3.1 70B上实现Wikitext-2困惑度降低0.77点，几乎无性能损失。

论文量化块浮点 NVFP4 后训练量化推理加速

推荐理由：做模型量化和推理加速的团队终于有了更优的缩放策略——ScaleSearch直接提升精度且兼容现有方法，建议做低精度部署的开发者试试。

原文

03:14

03:14官方一手OpenAI Blog（博客/媒体）

OpenAI举办的Parameter Golf活动吸引了超过1000名参与者和2000多份提交，旨在探索在严格约束下AI辅助机器学习研究、编码智能体、量化及新型模型设计。活动揭示了AI在极端资源限制下的科研潜力，强调了人与AI协作的创新边界。关键成果包括对量化技术的优化和新型模型架构的涌现，表明AI不仅能加速常规任务，还能激发人类研究者的创意。

行业 AI辅助研究编码智能体量化模型设计 OpenAI

推荐理由：该活动为AI辅助研究提供了实证，展示了在严格约束下人类与AI协作所能达到的效果，对理解AI在科研中的角色有参考价值。

原文