Outlier

general · First seen 2026-05-22 · Last seen 2026-11-09 · 14 mentions

Overview

Outlier(离群值/异常值)是机器学习与数据统计中指明显偏离整体分布的数据点或数值,在大模型时代它同时扮演两个角色:既是需要检测的异常信号,也是影响模型压缩与量化效果的关键因素。围绕 Outlier 的研究目前主要分布在 OOD(分布外)检测、时序异常监控和大模型量化三个方向,是连接数据质量与模型稳健性的一个核心概念。

Outlier 相关研究近期进展

  • 在模型量化方向,arXiv 论文 Widening the Gap: Exploiting LLM Quantization via Outlier Injection 提出通过主动注入 Outlier 来放大低比特量化对大模型的性能损伤,从攻击者视角揭示了量化模型对离群权重分布的脆弱性,与主流"抑制 Outlier 以提升量化精度"的思路形成对照。
  • 在 OOD 检测方向,Rank-1 权重修正的可训练权重平均方法用于 OOD 检测 用可训练的权重平均策略对模型做 Rank-1 级修正,以更好地区分分布外样本,可以看作是对"识别离群分布"这一任务的优化尝试。
  • 在工程落地层面,CTIA-ODE:用连续时间跨变量注意力做长期时序预测 与 On-Board Anomaly Detection for Efficient Marine Environmental Monitoring 分别从长期预测和海洋环境监测的机载异常检测入手,处理时序数据中的异常识别问题,后者强调在资源受限设备上的高效运行。
  • 此外,MDTE: Minority-Aware Diffusion over Temporal Edge Events for Imbalanced Node Classification 从另一个相关角度出发,用扩散模型处理节点分类中的少数类不平衡问题,与 Outlier 检测同属"分布不均"引发的建模挑战。
  • 当前焦点与观察点

    目前围绕 Outlier 的讨论有两条清晰的张力线:一是"防守"视角,即检测异常以保障数据质量与系统可靠,这在工业监测、环境监控等场景需求持续增长;二是"攻击"视角,如前述 Outlier Injection 工作所展示的,离群值本身可能被用来放大模型在量化压缩后的缺陷。随着大模型在边缘设备和低精度硬件上部署增多,如何处理激活值和权重中的 Outlier,预计会继续成为量化与效率研究的重要变量。对从业者而言,值得关注的观察点包括:量化方案能否在压缩率与离群值鲁棒性之间取得更好平衡,以及 OOD 检测方法能否从研究基准走向生产环境的常态化监控。

    Coverage

    10 on file