Chinese contentDAQ:面向脉冲 Transformer 的决策对齐后训练量化方法
这是脉冲 Transformer 量化的一篇新论文,把 4-bit 权重和膜电位压缩后仍能保住发放决策的准确性。做 SNN 边缘部署或事件相机任务(如 FE108 跟踪)的人可以直接参考它的校准思路,能耗降了 66.2% 还不掉点。
这是脉冲 Transformer 量化的一篇新论文,把 4-bit 权重和膜电位压缩后仍能保住发放决策的准确性。做 SNN 边缘部署或事件相机任务(如 FE108 跟踪)的人可以直接参考它的校准思路,能耗降了 66.2% 还不掉点。
论文用560个模型实测了4比特量化在S&P 500波动率预测上的效果,发现校准方式能决定性能好坏,做量化部署的可以看看。
大模型量化部署的团队终于有了一个理论扎实的尺度优化方法——PiSO 在低位宽下效果尤其显著,做模型压缩的开发者可以直接参考论文中的算法实现。
做模型量化和推理加速的团队终于有了更优的缩放策略——ScaleSearch直接提升精度且兼容现有方法,建议做低精度部署的开发者试试。