精选理由
这篇论文提出不用大模型也能高性能做多模态指代消解，直接在 CIN 上就比专用方法和 VLLM 高 5% 和 2%，而且即插即用，挺实用的。
论文提出即插即用的多模态指代消解方法 Plug-and-Adapt，无需在目标数据集上训练即可使用。该方法先利用视觉-语言对齐数据集预训练一个细粒度对齐模型，再通过证据理论融合视觉和类别线索进行相似度聚合。在 CIN 基准测试中，CoNLL F1 比现有专用方法提升 5.31%，比主流 VLLM 提升 2.12%。在掩码 CIN 和 VCR-MCR 数据集上验证了鲁棒性和泛化能力。
AI 翻译 · 中文
论文提出即插即用的多模态指代消解方法 Plug-and-Adapt，无需在目标数据集上训练即可使用。该方法先利用视觉-语言对齐数据集预训练一个细粒度对齐模型，再通过证据理论融合视觉和类别线索进行相似度聚合。在 CIN 基准测试中，CoNLL F1 比现有专用方法提升 5.31%，比主流 VLLM 提升 2.12%。在掩码 CIN 和 VCR-MCR 数据集上验证了鲁棒性和泛化能力。
Visual information helps resolve ambiguity in coreference resolution, leading to notable performance gains. However, existing Multi-modal Coreference Resolution (MCR) methods require training with (partially) annotated d…