多类与多标签BERT在CVE-to-CWE映射中的错误结构对比

Multi-Class vs. Multi-Label BERT for CVE-to-CWE Mapping: How Taxonomy Structure Shapes the Errors

精选理由

这篇论文用三种BERT模型对比了多类和多标签的漏洞分类效果,发现错误更多来自CWE层次结构而非模型选择,对安全领域做文本分类的人很有参考价值。

AI 摘要

该论文将CVE到CWE映射视为文本分类任务,比较了多类(每CVE预测一个CWE)和多标签(允许多个CWE)两种公式。在三个编码器(BERT Base、SecureBERT、CySecBERT)和三个嵌套标签空间(83、47、25类)上评估,多类训练在所有设置中macro-F1更高,但差距从21个百分点缩小至2个百分点。后处理阈值优化在25类设置中弥补了差距。混淆分析显示,主要错误模式遵循CWE层次结构,且三个编码器间高度相关(Pearson r>0.92),表明错误结构主要由分类体系设计而非编码器选择驱动。层次放松评估将macro-F1从约81%提升至约90%,表明严格指标低估了分支级分类质量。CySecBERT在多数设置中取得最强结果。

AI 翻译 · 中文

该论文将CVE到CWE映射视为文本分类任务,比较了多类(每CVE预测一个CWE)和多标签(允许多个CWE)两种公式。在三个编码器(BERT Base、SecureBERT、CySecBERT)和三个嵌套标签空间(83、47、25类)上评估,多类训练在所有设置中macro-F1更高,但差距从21个百分点缩小至2个百分点。后处理阈值优化在25类设置中弥补了差距。混淆分析显示,主要错误模式遵循CWE层次结构,且三个编码器间高度相关(Pearson r>0.92),表明错误结构主要由分类体系设计而非编码器选择驱动。层次放松评估将macro-F1从约81%提升至约90%,表明严格指标低估了分支级分类质量。CySecBERT在多数设置中取得最强结果。

arXiv cs.LGAssigning Common Weakness Enumeration (CWE) categories to Common Vulnerabilities and Exposures (CVE) records remains an important but largely manual step in vulnerability analysis. We study this task as a text classifica