Chinese content面向电磁信号的结构化预训练:用 RoPE-fs 时间对齐替代波形重建
做无线通信或信号处理方向预训练的值得看看。它把 RoPE 改成物理时间对齐的 RoPE-fs,再用掩码预测离散结构单元替代波形重建,解决了不同采样率、不同传播环境下预训练学歪的问题,少样本适配比现有基线更强。
做无线通信或信号处理方向预训练的值得看看。它把 RoPE 改成物理时间对齐的 RoPE-fs,再用掩码预测离散结构单元替代波形重建,解决了不同采样率、不同传播环境下预训练学歪的问题,少样本适配比现有基线更强。
arXiv 上这篇论文用 ZTF 的 4 万颗变星数据对比了两类方法,结论是经典特征模型更强,做时序分类的可以看看失败原因分析。
一篇写损失函数的论文:gSAP 直接换掉 InfoNCE,同样精度下能多捞 4 倍正样本,做检索和预训练的可以试试。