7月31日
12:36
12:36官方账号arXiv cs.LG@Yao Xiao, Reuben Tan, Zhen Zhu, Yuqun Wu, Jianfeng Gao, Derek Hoiem
ReToken训练一个可学习嵌入作为检索目标,从预填充的视觉KV缓存中选取与查询相关的稀疏视觉token。它在小型图像问答数据集上训练,在Visual Haystacks基准上让Qwen3VL-8B提升13.4分,InternVL3.5提升12.4分。在LVBench上,模型零样本迁移到长视频任务,Qwen3VL-8B取得8.0分增益。由于设计轻量,训练与长视频推理可在一块H100上完成。
事件专题

推荐理由:ReToken用一个小token当检索目标,从KV缓存里挑关键视觉token,Qwen3VL-8B在Visual Haystacks涨13.4分,单卡H100就能跑。