AITOP

视觉推理

共 13 条相关 AI 资讯
8月6日
12:19
12:19官方账号arXiv cs.AI@ Aniri, Jinhe Bi, Peng Liao, Zengjie Jin, Volker Tresp, Fei Shen, Yunpu Ma, Tat-Seng Chua
现有在线自蒸馏方法忽视多模态大模型推理中的模态失衡问题，文本信息占优时多模态输入无法充分整合。OPD-V利用放大图像的正面教师与遮罩图像的负面教师，将模态平衡本身作为特权信息。通过正负教师的模态平衡对数边际定义信任区域，筛选在线策略token用于自蒸馏。在6个基准、4个MLLM骨干和5种后训练方法上，OPD-V一致提升推理性能并降低训练成本。
论文OPD-V多模态大模型自蒸馏
推荐理由：OPD-V把模态平衡当特权信息，用正负教师挑token做自蒸馏，在6个基准、4种骨干上更省训练费还更准。
原文
8月3日
10:24
7月13日
10:50
10:50官方账号arXiv cs.AI@Shravan Murlidaran, Miguel P. Eckstein
论文引入Complex Social Behavior (CSB)数据集，包含100张复杂社交场景图片。研究评估了2017-2025年间4个pre-MLLM和5个MLLM模型在CSB和MS-COCO上的表现，并与20个人类描述对比。分析了物体检测、识别、幻觉、场景理解和空间依赖五种错误类型。MLLM在CSB上的场景描述准确率与人类顶级描述相当，几乎消除了所有错误类型，但偶尔仍存在空间依赖误差。
论文VLMCSBMLLM
推荐理由：这篇论文用新数据集CSB系统地测了十年间视觉语言模型的进化，发现最新模型在复杂社交场景上已经跟人类顶级描述差不多准了，只有空间依赖错误还没完全解决。
原文
6月25日
11:01
11:01官方账号arXiv cs.AI@Yu-Yang Chen, Lan-Zhe Guo
TriViewBench 是一个基于合成3D场景的受控多视图视觉推理基准，包含1,923个场景和超过14K个问答对，分为4个复杂度级别和3个推理类别：局部决策、物体计数和全局恢复。评估18个开源和闭源MLLMs发现，所有模型能力排序一致（局部决策>物体计数>全局恢复），且随着复杂度增加性能单调下降：局部决策下降12.11%，物体计数下降59.14%，全局恢复骤降80.02%。错误分析表明，单视图任务中因遮挡导致欠计数，多视图任务因跨视角身份混淆导致过计数。Chain-of-Thought提示几乎无收益（Δ=-0.16%），表明瓶颈在于跨视角空间表示而非推理策略。
论文TriViewBenchMLLMs多模态
推荐理由：这篇论文用TriViewBench测了18个多模态模型，发现它们都在多视图推理上崩得厉害，CoT也救不了。想了解当前MLLM的结构推理极限，可以看看。
原文
6月23日
11:04
11:04官方账号arXiv cs.AI@Zhuoran Jin, Kejian Zhu, Hongbang Yuan, Yupu Hao, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao
该研究系统评估12项多模态任务，涵盖感知与推理两类，使用14个非推理模型和8个推理模型。结果显示，CoT在视觉定位、目标计数等感知任务中会导致性能下降，但在数学、科学和多图推理中有效。开源多模态推理模型整体提升有限，可能因过度侧重数学。当前多模态CoT存在'轻看，重思'模式，视觉反省持续减弱，而口头反思相对保持。视觉推理仍是主要瓶颈。
论文CoT多模态推理推理模型
推荐理由：这篇论文系统测了多模态思维链到底行不行，发现它在视觉定位上帮倒忙，但对数学推理很管用，还揭示了视觉瓶颈。做多模态的值得看。
原文
6月17日
06:04
6月12日
09:46
09:46官方一手arXiv: DeepSeek@Xu-Jing Ye, Yuan-Gen Wang, Ruping Wang
L-VARC是一种新框架，通过语言引导的LUPI分支增强视觉推理，解决ARC任务中纯语言模型参数大、纯视觉模型过拟合的问题。它利用DeepSeek-V3压缩语义，用CLIP对齐视觉与语义特征，训练后丢弃语言分支，仅保留18M参数的轻量模型。实验表明，L-VARC在ARC任务上超越现有最佳方法，代码已开源。
论文视觉推理ARCLUPI
推荐理由：ARC是AGI的关键测试，L-VARC用语言引导视觉推理，18M参数就能超越SOTA，做视觉推理或小模型研究的开发者值得一试。
原文
6月5日
09:56
6月3日
10:44
10:44官方账号arXiv cs.LG@Lianghuan Huang, Yihao Li, Saeed Salehi, Yingshan Chang, Ansh Soni, Konrad P. Kording
精选
该论文从信息论角度形式化了视觉中的“绑定问题”，即系统如何知道哪些特征（如颜色、形状）属于同一个物体。研究者提出了一种探测方法，用于测量深度学习模型（尤其是Vision Transformers）内部表示中的绑定信息。实验发现，ViT的不同组件（如[CLS]标记和空间标记）包含不同程度的绑定信息，且在特征共享、遮挡等挑战性场景中表现差异显著。这项工作表明，绑定信息是强视觉识别与推理的关键要素，但目前模型仍存在特征误归因的常见失败。
论文绑定问题Vision Transformer信息论
推荐理由：做视觉AI的开发者会关心：你的ViT模型真的理解“蓝色圆形”是一个整体吗？这篇论文给出了量化绑定信息的方法，值得点开看看如何诊断模型的结构性盲点。
原文
10:17
10:17官方账号arXiv cs.AI@Senjie Jin, Peixin Wang, Boyang Liu, Xiaoran Fan, Shuo Li, Zhiheng Xi, Jiazheng Zhang, Yuhao Zhou, Tao Gui, Qi Zhang, Xuanjing Huang
精选
研究发现，在视觉推理任务中，仅依赖令牌级熵进行强化学习（RLVR）会失效，因为视觉敏感但熵低的令牌被忽略。现有多模态RL方法要么缺乏系统视觉度量，要么忽视熵主要驱动语义探索。为此，研究者提出VEPO框架，通过视觉敏感性与令牌熵的乘法耦合，将梯度信用分配给同时具备视觉基础和高信息量的令牌。实验表明，VEPO在7B和3B规模上分别比熵基线提升2.28和3.15个百分点，消融实验验证了方法的有效性。
论文强化学习视觉推理令牌选择
推荐理由：视觉推理强化学习一直缺乏有效的信用分配机制，VEPO解决了这个痛点——做多模态RL的团队可以直接参考这个框架，在视觉-语义交叉场景中提升模型表现。
原文
6月1日
15:05
15:05官方账号NVIDIA AI@NVIDIAAI
93°
NVIDIA 宣布推出 Cosmos 3，号称全球首个完全开放的全能模型，原生支持视觉推理、世界生成和动作生成。该模型提供 Super（32B）和 Nano（8B）两个版本，面向物理 AI 领域的研究与开发。Cosmos 3 的开源特性有望加速机器人、自动驾驶等物理世界交互系统的训练与部署，降低开发者门槛。
AI模型物理AI开源/仓库视觉推理
事件专题
推荐理由：做机器人或自动驾驶的团队终于有了一个全开源的物理世界模型——Cosmos 3 原生支持视觉推理和动作生成，32B 和 8B 两个版本覆盖不同算力场景，值得直接上手试试。
原文
5月30日
16:45
5月15日
10:52
10:52官方账号arXiv cs.AI@Ziyu Guo, Rain Liu, Xinyan Chen, Pheng-Ann Heng
精选
ATLAS 提出了一种新框架，用一个离散的“功能标记”（functional token）同时作为代理操作和潜在视觉推理单元，避免了传统方法中生成中间视觉内容的高计算成本。该标记无需视觉监督，保持标准词汇表格式，可通过下一个词预测生成，兼容标准 SFT 和 RL 训练。针对强化学习中功能标记稀疏的问题，引入 Latent-Anchored GRPO 稳定训练。实验表明 ATLAS 在挑战性基准上表现优异且可解释性强。这项工作为视觉推理研究提供了新范式。
论文视觉推理功能标记强化学习
推荐理由：ATLAS 用单个词解决视觉推理中计算开销和泛化难题，做多模态或视觉推理的开发者可以直接参考其设计思路，值得关注。
原文