10:34arXiv cs.LG@Sihan Wang, Xiyao Liu, Lianqing Liu, Zhi HanViGOS是一种针对多模态大语言模型(MLLM)的后训练框架,采用解耦感知与推理的自蒸馏方法(OPSD)。学生模型先生成视觉描述,再基于此进行推理,避免直接利用文本目标产生捷径。实验在通用视觉-语言、专家推理、视觉数学、空间定位和视觉-语言先验五类基准上验证,ViGOS在易出现捷径的场景中显著提升了图像依赖行为。论文ViGOSMLLMOPSD多模态自蒸馏推荐理由:这篇论文提出了ViGOS,专门解决多模态模型自蒸馏时只看文本不看图的毛病,在多个视觉语言基准上有效果。原文