精选理由
时序模型部署时量化误差会随时间累积，TQS用动力系统理论解决了这一痛点，做边缘设备或IoT部署的工程师可以直接参考。
该论文提出了一种名为轨迹量化敏感度分数（TQS）的新指标，将时序模型的量化问题重新定义为动力系统的稳定性分析。TQS通过将模型推理视为离散时间动力系统，量化了量化误差在时间步上的传播和放大效应。与传统的后训练量化方法不同，TQS可以独立于量化器选择和位宽分配进行敏感度估计，适用于黑盒或编译后的网络。基于TQS，作者提出了TQS-PTQ框架，无需校准数据或二阶近似即可实现混合精度量化。实验表明，该视角在资源受限场景下提供了稳健且高性能的低精度部署方案。
AI 翻译 · 中文
该论文提出了一种名为轨迹量化敏感度分数（TQS）的新指标，将时序模型的量化问题重新定义为动力系统的稳定性分析。TQS通过将模型推理视为离散时间动力系统，量化了量化误差在时间步上的传播和放大效应。与传统的后训练量化方法不同，TQS可以独立于量化器选择和位宽分配进行敏感度估计，适用于黑盒或编译后的网络。基于TQS，作者提出了TQS-PTQ框架，无需校准数据或二阶近似即可实现混合精度量化。实验表明，该视角在资源受限场景下提供了稳健且高性能的低精度部署方案。
We introduce the Trajectory-based Quantization Sensitivity Score (TQS), a metric that reframes post-training quantization (PTQ) through the lens of dynamical-systems stability. By modeling the network's rollout as a disc…