8月10日
11:05
11:05官方账号arXiv cs.AI@Shibo Gao, Chongxiao Wang, Chenglong Huang, Jie Ma, Haolin Shi, Fei Ding, Jing Li, Qiang Lyu, Yangyang Liu, Yang Liu, Jun Liu, Linlin Huang, Peipei Yang
该论文提出ICQ任务,要求模型同时关联输入视频和人物参考图像,完成身份定位、行为理解与时间推理。配套的ISYV-Bench包含1,377个真实复杂视频和1,377个问答对,分为6个难度等级。训练集ISYV-75K提供75K个高质量样本,经自动标注和人工审核构建。实验显示主流闭源和开源多模态模型在ISYV-Bench上表现吃力,尤其在跨域身份匹配和长时跟踪方面;ISYV-Model超过强基线,部分指标接近闭源模型。
推荐理由:这篇论文搞了个新任务ICQ,让AI对着人像照片在视频里找人、看行为,还放出1377个视频测试集和75K训练集,开源模型里ISYV-Model效果最好。