精选理由
这篇论文戳破了 Transformer 在入侵检测中“近乎完美”的假象——做网络安全 AI 研究的团队，尤其是依赖 CIC-IDS2017 基准的，建议仔细看 padding 和分割协议的影响，否则你的模型评估可能虚高 0.24 macro-F1。
该研究重新评估了 Transformer 等时序架构在网络入侵检测中的真实效果，发现其性能提升主要来自 padding 方式而非架构本身。在无 padding 的真实序列上，Transformer 的 macro-F1 达 0.89，但零填充掩码评估下骤降 0.24，而 LSTM、GRU 和 1D-CNN 保持稳定。在无泄漏分组评估中，随机森林最稳健，Transformer 的误报率从 0.04% 升至 2.7%，增加 67 倍。研究呼吁采用无泄漏分割、明确 padding 披露和序列感知基准测试作为标准实践。
AI 翻译 · 中文
该研究重新评估了 Transformer 等时序架构在网络入侵检测中的真实效果，发现其性能提升主要来自 padding 方式而非架构本身。在无 padding 的真实序列上，Transformer 的 macro-F1 达 0.89，但零填充掩码评估下骤降 0.24，而 LSTM、GRU 和 1D-CNN 保持稳定。在无泄漏分组评估中，随机森林最稳健，Transformer 的误报率从 0.04% 升至 2.7%，增加 67 倍。研究呼吁采用无泄漏分割、明确 padding 披露和序列感知基准测试作为标准实践。
Recent deep learning approaches for network intrusion detection increasingly incorporate temporal architectures such as recurrent networks and Transformers, often reporting near-perfect performance on CIC-IDS2017. Howeve…