09:40arXiv cs.AI@Jinghan Wu, Jing Li, Ivor W. Tsang, Xuetao Zhang论文提出即插即用的多模态指代消解方法 Plug-and-Adapt,无需在目标数据集上训练即可使用。该方法先利用视觉-语言对齐数据集预训练一个细粒度对齐模型,再通过证据理论融合视觉和类别线索进行相似度聚合。在 CIN 基准测试中,CoNLL F1 比现有专用方法提升 5.31%,比主流 VLLM 提升 2.12%。在掩码 CIN 和 VCR-MCR 数据集上验证了鲁棒性和泛化能力。论文Plug-and-Adapt多模态指代消解对齐模型证据理论CIN基准推荐理由:这篇论文提出不用大模型也能高性能做多模态指代消解,直接在 CIN 上就比专用方法和 VLLM 高 5% 和 2%,而且即插即用,挺实用的。原文