NVFP4 是 NVIDIA 提出的 4 位浮点量化数据格式，用于在几乎不损失模型质量的前提下大幅压缩大模型的显存占用并提升推理速度，目前已逐步成为开源推理框架与新一代 GPU 硬件生态中的低精度推理标准之一。随着开源权重模型参数规模迈向数千亿级，NVFP4 及其相关量化技术正受到社区越来越多的关注。
NVFP4 相关的近期进展
当前焦点与观察点
目前围绕 NVFP4 的讨论主要集中在三个层面。其一是部署生态：vLLM、SGLang 等主流推理框架不断跟进新版格式与硬件适配，SGLang 也在针对 NVIDIA Vera Rubin 架构优化推理性能，硬件与软件的协同演进决定了量化推理的实际收益。其二是模型侧：开源权重模型规模快速膨胀（如 600B 级 MoE），使得 4 位推理从可选优化逐渐变为部署刚需。其三是技术路线之争：NVFP4 这类带硬件加速的浮点格式，与 DualQuant 等无需校准的新算法、以及 4:8 稀疏等结构化压缩手段并存，社区仍在比较各自的质量与速度权衡。后续值得观察的是，NVFP4 能否在多模态与超大 MoE 模型上保持稳定的质量表现，以及开源框架对它的支持是否会成为默认配置。