论文精选

MTRefSeg-21K:多时序指代分割开源基准与基线模型

An Open-Source Benchmark and Baseline for Multi-temporal Referring Segmentation

精选理由

做多模态视觉推理或时序变化检测的团队,这个新基准和基线模型值得关注——它填补了LVLM在时序推理上的空白,可以直接用来评估和提升模型能力。

AI 摘要

多时序指代分割(MTRS)是一项新任务,要求模型从多时序图像中分割出语言描述的时间变化。研究团队提出了CRAFT-Agent自动化数据构建流程,并构建了首个基准MTRefSeg-21K,包含2.1万高质量三元组。现有视觉语言模型在该任务上表现不佳,为此团队提出了MTRefSeg-R1框架,采用两阶段训练策略,先学习通用时序变化感知,再微调实现细粒度语言引导定位。实验表明,MTRefSeg-R1显著优于现有基线,揭示了多时序视觉推理的挑战与潜力。

AI 翻译 · 中文

多时序指代分割(MTRS)是一项新任务,要求模型从多时序图像中分割出语言描述的时间变化。研究团队提出了CRAFT-Agent自动化数据构建流程,并构建了首个基准MTRefSeg-21K,包含2.1万高质量三元组。现有视觉语言模型在该任务上表现不佳,为此团队提出了MTRefSeg-R1框架,采用两阶段训练策略,先学习通用时序变化感知,再微调实现细粒度语言引导定位。实验表明,MTRefSeg-R1显著优于现有基线,揭示了多时序视觉推理的挑战与潜力。

arXiv cs.AILarge Vision-Language Models (LVLMs) have shown strong visual understanding and language-guided grounding abilities, yet their capacity for multi-temporal visual reasoning remains underexplored. To bridge this gap, we in