Qwen3-VL 相关 AI 资讯

8月5日

11:41

官方账号arXiv cs.AI@Mercy Prasanna Ranjit, Anirban Porya, Sathvik Joel, Niharika Vadlamudi, Nikhilesh Chowdary Eathamukkala, Prasanth V, Abhyuday Kumara Swamy, Pranay Narhari Umredkar, Pradeep Narayan, Vivek Rajagopal, Tanuja Ganu

CARE-X 在生成骨干网络上增加焦损失分类与复合损失定位头，与语言建模目标联合训练，使胸片报告生成、发现分类和空间定位互相增强。配合任务级奖励优化的 DAPO 策略，该方法在四个报告生成基准的大部分指标上达到最优，ReXVQA 视觉问答准确率 94.0%，比次优基线高 6.0 个百分点。此外，将 Qwen3-VL-4B-Instruct 与可调用确定性测量工具的原生工具能力结合，在五个依赖测量的诊断场景中平均 F1 比仅靠感知的基线高 43.6 个百分点。

推荐理由：医学影像领域的小伙伴可以看看这篇，CARE-X 把胸片分类、定位、报告生成整合到一个模型里，还靠工具调用做解剖测量，临床实用性比纯生成模型强不少。

原文

7月31日

12:53

官方账号arXiv cs.AI@Woongkyu Lee, Jungwook Choi

这项研究在 OSWorld 基准上测试了 Qwen3-VL-8B/30B-A3B、UI-TARS-1.5-7B 和 OpenCUA-7B 三类本地计算机使用智能体。结果表明，上下文扩展可提升轨迹稳定性但收益很快饱和，时间扩展减少 max-step 停滞却不提升任务成功率。结构分解会引入规划和格式化开销，并行扩展能部分缓解但计算成本显著增加。研究建议本地高效智能体需要选择性计算分配和失败感知控制机制。

论文 Qwen3-VL UI-TARS OSWorld

推荐理由：这篇论文实测了三个本地模型在 OSWorld 上的推理时扩展，发现多算不一定提升成功率，反而换着花样失败。做本地 CUA 部署的可以当避坑参考。

原文

7月24日

11:32

官方账号arXiv cs.AI@Yijun Liang, Yunjie Tian, Yijiang Li, Yuqi Jia, Furong Huang, Tianyi Zhou, Di Fu

VCSD提出一种新的自蒸馏方法，通过对比原始图像和内容擦除控制的token级log概率差异来生成蒸馏信号。在ViRL39K数据集上，基于Qwen3-VL的实验显示，2B模型七基准聚合从62.27%提升至67.04%，4B从71.30%提升至73.16%，8B从72.51%提升至76.26%。VCSD无需外部教师、特权答案或视觉证据信号，且不增加推理开销。

论文 VCSD Qwen3-VL Qwen3.5

事件专题

推荐理由：这篇论文提出了VCSD，不需要外部老师就能让多模态模型自己教自己，在Qwen3-VL上几个规模都涨了4-5个点，而且不增加推理成本。

原文

7月1日

10:08

官方账号arXiv cs.AI@Zhaoyang Luo, Runmin Dong, Miao Yang, Fan Wei, Yushan Lai, Bin Luo, Haohuan Fu

论文提出一种操作级视觉令牌跳过框架，将Transformer层分解为注意力与FFN操作，选择性跳过冗余计算。实验覆盖3种MLLM架构（含Qwen3-VL）和10个VQA基准，实现精度-效率权衡：在Qwen3-VL上减少33.7% TFLOPs，保留99.5%的原始性能。关键发现是晚期视觉令牌更新对答案表示影响很小，且有效计算具有操作主导性和层依赖性。

论文 MLLM Qwen3-VL 推理加速

推荐理由：这篇论文告诉你如何在不牺牲性能的前提下大幅降低多模态大模型的计算量。他们在Qwen3-VL上砍了33.7%的算力，性能只掉了0.5%，方法很巧妙。

原文

6月15日

11:12

官方账号arXiv cs.AI@Xinyu Qiu, Yunzhu Zhang, Heng Jia, Shuheng Shen, Changhua Meng, Linchao Zhu

GRPO在GUI接地训练中因单视图采样导致有效信号不足。VISTA框架从多个保持目标元素可见的裁剪视图中构建比较组，并添加自验证跨视图锚点。在五个GUI接地基准上持续提升，ScreenSpot-Pro上Qwen3-VL 4B/8B/30B-A3B从55.5/52.7/53.7分别升至63.4/65.8/67.0。鲁棒性分析显示最差视图准确率更高、预测翻转率更低。

论文 VISTA GRPO GUI Grounding

推荐理由：多视图训练让GUI定位更准

原文

5月15日

10:12

官方一手arXiv: OpenAI@Tianwei Chen, Takuya Furusawa, Yuki Hirakawa, Ryotaro Shimizu, Mo Fan, Takashi Wada

精选

本文提出 MultiEmo-Bench，一个多标签视觉情感分析基准数据集，用于全面评估多模态大模型（MLLMs）预测图像引发情感的能力。现有数据集采用单候选情感标注方案，忽略了单张图像可能引发多种不同强度情感的事实，导致低估 MLLMs 能力。新数据集为每张图像雇佣 20 名标注者，收集所有被激发的情感，最终包含 10,344 张图像和 236,998 条有效投票，覆盖八种情感。评估了 Qwen3-VL、GPT、Gemini 和 Claude 等模型，结果表明当前 MLLMs 虽有进步，但仍有很大提升空间。实验还发现，LLM-as-a-judge 方法在视觉情感分析这一主观任务上效果不稳定。

论文多模态大模型视觉情感分析基准数据集

推荐理由：做多模态情感分析或评估 MLLMs 情感能力的团队，终于有了一个更可靠的多标签基准——MultiEmo-Bench 解决了现有数据集低估模型的问题，值得直接用于模型评测。

原文