12:19
官方账号arXiv cs.AI@ Aniri, Jinhe Bi, Peng Liao, Zengjie Jin, Volker Tresp, Fei Shen, Yunpu Ma, Tat-Seng Chua
推荐理由：OPD-V把模态平衡当特权信息，用正负教师挑token做自蒸馏，在6个基准、4种骨干上更省训练费还更准。
模态平衡
共 1 条相关 AI 资讯
8月6日
12:19
现有在线自蒸馏方法忽视多模态大模型推理中的模态失衡问题，文本信息占优时多模态输入无法充分整合。OPD-V利用放大图像的正面教师与遮罩图像的负面教师，将模态平衡本身作为特权信息。通过正负教师的模态平衡对数边际定义信任区域，筛选在线策略token用于自蒸馏。在6个基准、4个MLLM骨干和5种后训练方法上，OPD-V一致提升推理性能并降低训练成本。