研究微调过程中视觉语言模型语义能力的获取与退化轨迹

论文提出基于轨迹的框架，追踪微调过程中身份类与属性类语义能力的获取、峰值与后续特化。研究覆盖 DFN、MetaCLIP 和 OpenAI CLIP 六个预训练骨干。结果显示微调可以在预训练状态之外获得语义能力，且在留出评估上也有提升。作者进一步提出 Structured Semantic Routing（SSR），配合随机名称分支 dropout，可显著增强 name-free 属性检索。不同能力的峰值阶段不同，按目标类名检索挑选的 checkpoint 不一定是可迁移语义的最优点，持续训练可能在保留类名检索的同时削弱先前获得的可迁移能力。