Gated DeltaNet在4位量化中保持性能的机制研究

Minima研究团队对Qwen3.8-27B混合模型进行了全NVFP4 W4A4量化，在4K/32K困惑度、MMLU-Pro、GSM8K等7项基准上与BF16精度相当。该模型仅17.5 GiB，预填充速度提升14-19%，32K困惑度差距随位置增加而缩小。研究揭示了四个关键机制：NVFP4的16元素块缩放局部化残差流极值异常，门控投影对误差不敏感，delta规则递归在32K token内保持噪声平坦，以及每token量化成本随上下文增长而非累积。