Qwen2.5-VL 相关 AI 资讯 · AI 热点

7月10日

09:30

09:30

官方账号arXiv cs.AI@Weiduo Liao, Yunqiao Yang, Ying Wei

稀疏自编码器(SAE)在机械可解释性中学习稀疏潜在特征，但在视觉-语言模型(VLM)中，香草SAE难以学到跨模态一致的概念。研究者提出结构化稀疏自编码器(S^2AE)，在Qwen2.5-VL-7B-Instruct上评估，语义对齐(mIoU)平均提升6.06%，表征效率(l0范数)降低60.81，重构保真度(解释方差)保持在99%以上。跨模态分析显示S^2AE通过视觉结构先验增强神经元单语义性，语义一致性平均提升3.08%，单语义性得分平均提升2.37%。

论文 S^2AE Qwen2.5-VL 多模态可解释性稀疏编码

推荐理由：这篇论文提的S^2AE让视觉语言模型里稀疏编码的概念更一致，比普通SAE语义对齐涨了6%，还能保持高重建质量。搞多模态可解释性的可以看看。

5月26日

11:49

11:49

官方账号arXiv cs.AI@Xinrui Shi, Kai Liu, Ziqing Zhang, Jianze Li, Anqi Li, Yulun Zhang

精选

轻量级视觉语言模型在标准基准上表现不错，但在需要多步推理的密集场景中（如多个物体、属性、关系）系统性地失败。为此，研究者首先构建了DRBench基准，包含14,573个问题、2,943张图像，覆盖5类任务和3个推理层次。然后提出DRScaffold框架，通过将监督目标分解为四个因果有序阶段，在不改动模型架构的情况下强制进行有依据的推理。实验表明，使用DRScaffold训练的Qwen2.5-VL-3B在DRBench上超越了冻结的Qwen2.5-VL-32B，证明结构化监督可以替代大量模型规模。代码和模型已开源。

论文视觉语言模型密集场景推理 DRBench DRScaffold Qwen2.5-VL

推荐理由：轻量级VLM在复杂场景中经常胡编乱造，DRScaffold用结构化监督解决了这个痛点，做视觉推理或部署小模型的团队可以直接用它的框架和基准来提升可靠性。