Robust CurveMoE: Multi-Norm Adversarial Defense for Mixture-of-Experts Models via Mode Connectivity
Robust CurveMoE 在 CIFAR-100 和 ImageNet-100 数据集上显著提升了混合专家模型的鲁棒性,比最强基线提高了 2.37% 和 2.13% 的联合准确率,值得一试。
Robust CurveMoE 在 CIFAR-100 和 ImageNet-100 数据集上显著提升了混合专家模型的鲁棒性,比最强基线提高了 2.37% 和 2.13% 的联合准确率,值得一试。
这篇论文用TGO框架搞清楚了ViT的维度在训练中怎么变化——不是集中而是越来越分散,尤其CLS token最明显,对理解视觉Transformer内部机制很有参考价值。