10:34
官方账号arXiv cs.AI@Duzhen Zhang, Yahan Yu, Qiaoyi Su, Jiahua Dong, Tielin Zhang
推荐理由：这篇论文发现多模态模型持续微调时，投影仪会比主干更容易遗忘旧知识，并提出了PMA框架来解决，在两个基准上效果超过现有方法，值得做持续学习的读者看看。
PMA
共 1 条相关 AI 资讯
7月30日
10:34
多模态大语言模型（MLLM）依赖投影仪对齐视觉表示与语言嵌入空间。在持续指令微调中，视觉分布变化和指令语义演化导致投影仪漂移，引发投影仪级别遗忘——现有方法主要关注LLM骨干而忽视该问题。本文提出PMA框架，通过轻量级表示描述符检测多模态分布偏移，按需渐进扩展投影仪专家，并保留原始预训练投影仪作为稳定锚点。在两个MCIT基准（如MMBench持续版本）上，PMA结合现有方法一致超越先前最优结果，且在不同MLLM骨干上表现鲁棒。