精选理由
做语音安全或深度伪造检测的研究者会发现,现有数据集的公平性和泛化性评估可能建立在脆弱基础上——这篇审计直接点出了数据层面的系统性漏洞,值得在选数据集或写论文时参考。
该论文对39个深度伪造语音数据集进行了系统性审计,发现大多数数据集缺乏人口统计元数据(如性别、语言标签),导致公平性评估几乎不可行。此外,不同数据集之间存在大量底层真实语音源语料库的重叠,这会削弱跨数据集评估的有效性,并导致泛化能力被高估。研究揭示了当前深度伪造语音检测领域在数据多样性和评估严谨性上的关键缺陷。
AI 翻译 · 中文
该论文对39个深度伪造语音数据集进行了系统性审计,发现大多数数据集缺乏人口统计元数据(如性别、语言标签),导致公平性评估几乎不可行。此外,不同数据集之间存在大量底层真实语音源语料库的重叠,这会削弱跨数据集评估的有效性,并导致泛化能力被高估。研究揭示了当前深度伪造语音检测领域在数据多样性和评估严谨性上的关键缺陷。
Claims about the robustness and fairness of deepfake speech detectors are only as credible as the datasets used to train and evaluate those systems. We present a dataset-level audit of the deepfake speech landscape. We c…