11:32
官方账号arXiv cs.AI@Donghyun Lee, Jitesh Chavan, Duy Nguyen, Sam Huang, Liming Jiang, Priyadarshini Panda, Timo Mertens, Saurabh Shukla
推荐理由：想给图像或视频扩散模型做低位量化？OrbitQuant不需要每换一个模型或任务就重跑校准，FLUX.1、Wan 2.1上表现都很能打，W2A4也有可用效果。
OrbitQuant
共 1 条相关 AI 资讯
7月3日
11:32
OrbitQuant提出一种数据无关的权重量化方案，通过随机置换块Hadamard（RPBH）旋转将激活值变换到归一化旋转基，使各坐标分布固定无需重新拟合校准数据。在FLUX.1、Z-Image-Turbo、Wan 2.1、CogVideoX四个模型上，该方法在多个低位宽设定下达到后训练量化（PTQ）最佳效果，并将图像扩散Transformer的PTQ推进到W2A4可用质量。同一量化器可直接从图像迁移到视频，无需针对每种模态调整。