精选理由
这篇论文用严格的数学证明和实验告诉你,为什么很多射频无人机识别论文的99%准确率不可信——数据泄露让测试集形同虚设。
本文揭示射频信号识别基准测试中数据泄露导致精度高估的问题。通过Cover函数计数定理证明,当独立录音数R小于等于特征维度d/2时,分类器可记忆录音-标签映射,使朴素准确率趋近1。在合成实验中,10次种子测试显示,朴素平衡准确率从贝叶斯水平升至1.0,而分组评估降至随机水平,最大差距约0.5。在公开DroneRF数据集上,无人机型号识别(AR vs Bebop)的宏F1从0.74骤降至0.46(二类随机水平)。消融实验证实几乎所有通胀源自片段级数据泄露。
AI 翻译 · 中文
本文揭示射频信号识别基准测试中数据泄露导致精度高估的问题。通过Cover函数计数定理证明,当独立录音数R小于等于特征维度d/2时,分类器可记忆录音-标签映射,使朴素准确率趋近1。在合成实验中,10次种子测试显示,朴素平衡准确率从贝叶斯水平升至1.0,而分组评估降至随机水平,最大差距约0.5。在公开DroneRF数据集上,无人机型号识别(AR vs Bebop)的宏F1从0.74骤降至0.46(二类随机水平)。消融实验证实几乎所有通胀源自片段级数据泄露。
Radio-frequency (RF) sensing is a central modality for counter-unmanned-aerial-system (counter-UAS) defence because it exploits the control, telemetry, and video links between a drone and its operator. Reported accuracie…