多模态推理相关 AI 资讯

7月31日

13:18

官方账号arXiv cs.AI@Feng Xiong, Leyan Xue, Hongyu Lin

论文提出感知纠正蒸馏（PCD），用于多模态推理器的感知蒸馏。PCD 通过下游失败和师生分歧两个见证信号的乘积来识别可纠正的感知错误，并保持推理目标不变。在八个基准上，PCD 将 8B→2B 蒸馏的宏平均从 44.50 提升到 47.28，将 32B→8B 从 56.94 提升到 61.22。2B 消融实验中，去掉 PCD 使留出集平均下降 2.22 分，去掉分离式 rollout 下降 0.88 分。

论文 PCD 多模态推理知识蒸馏

推荐理由：这篇论文给多模态蒸馏提了个新招：用师生分歧定位该纠的感知错误，八个基准分数明显涨，做蒸馏的可以看。

原文

7月29日

11:50

官方账号arXiv cs.AI@Podakanti Satyajith Chary, Barath Parthiban, Pranesh Velmurugan, Adeeba Khan, Nagarajan Ganapathy

PRISM-AH是一种新框架，通过冻结视觉、音频和文本编码器，对齐到短时间窗口，利用轻量级流模型评分跨模态不协调并预测下一窗口。该框架在525个视频的公开测试集上取得0.6133的macro F1，相比零样本基线0.2827提升显著。知识引导的大语言模型基于结构化证据进行推理，仅在验证性能提升时进行后期融合。

AI模型 PRISM-AH 矛盾识别多模态推理

推荐理由：PRISM-AH在视频级矛盾识别上把macro F1从0.28翻到0.61，比直接看零样本强多了，适合研究多模态情感分析的人看看。

原文

7月28日

11:00

官方账号arXiv cs.AI@Wendi Deng, Hang Du, Guoshun Nan, Haokun Tian, Jiaqi Yu, Xinlei Cao, Jaile Li, Jingfeng Chen, Ling Deng, Ting Li, Hao Yang, Jun Liu, Xudong Jiang, Sicong Leng

多模态大语言模型在推理任务中常出现中间步骤有缺陷但最终答案正确的问题，影响可解释性。论文提出O^2-CritiCuRL框架，在离线阶段通过多轮次分析步骤标注轨迹估计步骤重要性，提取关键推理步骤；在线阶段采用逐步强化学习策略，用截断链引导模型推理缺失步骤。在多个多模态推理基准上达到SOTA，同时训练和推理效率更高。代码已开源。

论文 O^2-CritiCuRL 多模态推理强化学习

推荐理由：这篇论文提出了一种新方法，能解决多模态模型推理时中间步骤乱但结果对的问题，效果SOTA还更高效，做推理增强的可以看看。

原文

7月24日

11:29

官方账号arXiv cs.AI@Wen Ye, Yuxiao Qu, Aviral Kumar, Xuezhe Ma

论文发现视觉语言模型在几何推理中，对文本、图像和图文组合三种视图的推理结果不一致。为此构建了ODA-Data多视图几何数据集，并提出了MIRROR强化学习方法。MIRROR通过评估模型在各视图下的表现，选择最佳视图作为教师，用反向KL散度训练其他视图。在多个几何推理基准上，MIRROR比标准RL提高了准确性和模态间一致性。

论文 MIRROR VLM 多模态推理

推荐理由：这篇论文提出了MIRROR方法，让视觉语言模型通过不同视角互相学习，在几何推理中表现更稳定、更准确。

原文

6月23日

11:04

官方账号arXiv cs.AI@Zhuoran Jin, Kejian Zhu, Hongbang Yuan, Yupu Hao, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

该研究系统评估12项多模态任务，涵盖感知与推理两类，使用14个非推理模型和8个推理模型。结果显示，CoT在视觉定位、目标计数等感知任务中会导致性能下降，但在数学、科学和多图推理中有效。开源多模态推理模型整体提升有限，可能因过度侧重数学。当前多模态CoT存在'轻看，重思'模式，视觉反省持续减弱，而口头反思相对保持。视觉推理仍是主要瓶颈。

论文 CoT 多模态推理推理模型

推荐理由：这篇论文系统测了多模态思维链到底行不行，发现它在视觉定位上帮倒忙，但对数学推理很管用，还揭示了视觉瓶颈。做多模态的值得看。

原文

6月12日

12:08

官方账号vLLM@vllm_project

精选

vLLM-Omni 项目在 GitHub 上达到 5000 星标，从去年 11 月社区启动至今，已发展为支持 30 多种多模态模型的高效推理引擎。它覆盖 Qwen3-Omni、HunyuanImage-3.0、Wan 2.2、BAGEL、MiMo-Audio 和 Flux2 等模型，并兼容 NVIDIA、AMD、华为昇腾、Intel 等多种硬件。该项目致力于提供可扩展、开源的多模态推理方案，吸引了大量社区贡献。

AI产品 vLLM-Omni 多模态推理开源/仓库

事件专题

推荐理由：多模态推理开发者终于有了一个统一的高效引擎——vLLM-Omni 支持 30+ 模型和多种硬件，做多模态应用或推理优化的团队可以直接拿来用，省去重复造轮子的时间。

原文

5月25日

11:13

官方账号arXiv cs.AI@Beichen Zhang, Yuhong Liu, Jinsong Li, Yuhang Zang, Jiaqi Wang, Dahua Lin

精选

多模态大语言模型在视觉推理上虽有进步，但纯文本思维链在处理需要精细关注或视角变换的问题时仍是瓶颈。现有“用图像思考”的方法要么受限于固定工具集，要么产生噪声中间图像。ETCHR 提出第三种方案：使用专用图像编辑模型，并将其与理解模型解耦。它通过两阶段训练（推理模仿和推理增强）解决语言侧和生成侧的差距，使编辑器能根据问题主动进行视觉变换。实验表明，ETCHR 在五个任务族上平均提升 Pass@1 约 5 个百分点，且可即插即用于多种开源和闭源多模态模型。

论文多模态推理图像编辑视觉问答

推荐理由：做多模态推理或视觉问答的开发者，ETCHR 提供了一种无需微调即可提升模型准确率的思路，值得在现有工作流中试试。

原文

5月23日

17:50

官方一手marktechpost@Michal Sutter

78°

Cohere 发布了 Command A+，一个 218B 参数的稀疏混合专家（MoE）模型，整合了此前四个 Command A 变体。该模型在 W4A4 量化下仅需两张 H100 GPU 即可运行，支持 48 种语言，是 Cohere 首个多模态推理模型，专为智能体工作流设计。其开源特性降低了部署门槛，适合需要高效多模态推理和智能体任务的团队。

AI模型 Cohere Command A+稀疏 MoE

推荐理由：Cohere 把 218B 模型压到两张 H100 就能跑，做智能体工作流的团队终于有了高性价比的开源选择——多模态推理和 48 语言支持直接可用，建议试试。

原文

5月19日

11:38

官方账号arXiv cs.AI@Haoyu Zhang, Qiaohui Chu, Yisen Feng, Meng Liu, Weili Guan, Yaowei Wang, Liqiang Nie

精选

MARS 是一个多模态智能体推理系统，专为 EgoVis 2026 的 CASTLE 挑战赛设计。该挑战要求回答 185 个关于四天活动、15 个同步视角、官方转录及多种辅助模态（如个人照片、热成像、心率数据）的封闭式问题。MARS 将任务视为多模态证据选择问题，通过构建视频和转录等主要来源以及辅助来源的证据记忆，并使用 DeepSeek 压缩长视频，最后通过 GPT-5.4 决策代理选择继续推理、请求缺失模态或生成答案。该系统在最终排行榜上获得第二名，代码已开源。

AI模型多模态推理智能体视频理解

推荐理由：多模态推理是 AI 落地的关键瓶颈，MARS 展示了如何整合视频、转录、热成像等异构数据做智能体决策，做多模态 AI 或视频理解的团队值得参考其开源代码。

原文