Outlier(离群值/异常值)是机器学习与数据统计中指明显偏离整体分布的数据点或数值,在大模型时代它同时扮演两个角色:既是需要检测的异常信号,也是影响模型压缩与量化效果的关键因素。围绕 Outlier 的研究目前主要分布在 OOD(分布外)检测、时序异常监控和大模型量化三个方向,是连接数据质量与模型稳健性的一个核心概念。
Outlier 相关研究近期进展
当前焦点与观察点
目前围绕 Outlier 的讨论有两条清晰的张力线:一是"防守"视角,即检测异常以保障数据质量与系统可靠,这在工业监测、环境监控等场景需求持续增长;二是"攻击"视角,如前述 Outlier Injection 工作所展示的,离群值本身可能被用来放大模型在量化压缩后的缺陷。随着大模型在边缘设备和低精度硬件上部署增多,如何处理激活值和权重中的 Outlier,预计会继续成为量化与效率研究的重要变量。对从业者而言,值得关注的观察点包括:量化方案能否在压缩率与离群值鲁棒性之间取得更好平衡,以及 OOD 检测方法能否从研究基准走向生产环境的常态化监控。