MLLM 相关 AI 资讯

8月14日

10:34

官方账号arXiv cs.LG@Daniel Perkins, John Squires, Janou Milligan, Chandra Raskoti, Linda Ungerboeck

论文提出ARMDIL，一种使用多模态大语言模型（MLLM）作为自适应路由器的图像分类集成方法。该集成包含ResNet、自监督学习（SSL）和视觉语言模型（VLM）等视觉骨干，在统一标签空间上训练。实验显示，ARMDIL与专用的训练型路由器性能相当，同时能通过简单提示修改快速整合新信息。该方法用自然语言推理轨迹增强可解释性，为通用视觉系统提供支持。

论文 ARMDIL MLLM 图像分类

推荐理由：这篇论文搞了个ARMDIL，用MLLM当路由器给图像挑合适的视觉模型，效果不输专门训练的，还能改提示词加新数据。

原文

8月12日

17:34

官方账号arXiv cs.AI@Shiyu Xuan, Zechao Li

该论文提出Test-Time Self-Evolving框架，让GUI智能体在部署后无需人工标注即可自我改进。框架构建探索、评估、反思、内化的闭环，通过MLLM反射器评估预测结果并生成推理反思。反射引导的On-Policy自蒸馏将高层推理转化为密集token级监督，对比校准防止错误前缀污染监督信号。在六个基准上平均准确率提升7.4%，是首个将on-policy自蒸馏用于GUI视觉定位测试时适配的工作。

论文 GUI视觉定位 Test-Time Self-Evolving 自蒸馏

推荐理由：GUI智能体部署后不会自我进化的问题有解了，这个框架用反射引导自蒸馏，六个基准平均涨7.4个点，做智能体适配的可以看看。

原文

8月11日

11:45

官方账号arXiv cs.AI@Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

Sci-VBench 是一个评估科学领域视频生成的新基准，包含 1,253 个专家标注示例，覆盖 60 个主题和四个学科。该基准要求模型生成具有科学推理和知识基础的视频，而非仅表面视觉合理性。研究显示，非专家评估者和 MLLM-as-Judge 系统与专家判断有较高一致性。对 16 个模型的测试发现，自动感知质量分数相近，但提示接地和科学因果正确性差异显著，且专有模型与开源模型差距明显。这表明视觉真实性的进步尚未转化为对科学和因果动态的可靠建模。

论文 Sci-VBench 视频生成科学推理

推荐理由：想知道视频生成模型在科学推理上有多靠谱？这个新基准测了 16 个模型，发现视觉好看不等于科学正确，专有和开源差距不小。

原文

10:27

官方账号arXiv cs.AI@Yuke Li, Xuehan Hou

GUI代理正从依赖元数据的LLM转向基于截图的纯视觉多模态大模型。论文提出回归无关框架，冻结MLLM负责解析指令，专用定位模型通过布局先验候选匹配完成坐标定位。该方法只用文本/图标二值标签训练，不学坐标回归参数。在ScreenSpot-Pro上准确率比端到端系统提升超20%；在Mind2Web上成功率和元素选择率提升超15%。

论文 GUI Agent MLLM ScreenSpot-Pro

推荐理由：GUI Agent容易瞎点，这篇把指令理解和坐标定位拆开，用布局匹配防幻觉，ScreenSpot-Pro比端到端高20个点。

原文

7月17日

09:59

官方账号arXiv cs.AI@Patrick Phuoc Do, Chau M. Ta, Chaoli Wang

本文对6个多模态大模型（MLLM）进行了科学可视化素养评估测试，该测试包含49道题目、18个科学可视化图表，覆盖8种可视化技术和11种任务类型。模型成绩与485名人类参与者数据对比，Gemini整体表现最强，在评估子集上超过人类平均水平，而开源模型低于人类基线。模型在科学插画、搜索和空间理解任务上表现较好，但在基于纹理和整合的可视化以及定量估计任务上表现不佳。误差分析显示模型在细粒度定量估计、流向判读和编码含义解读上存在系统性失败。代码和模型输出已开源。

论文 Gemini MLLM 科学可视化

推荐理由：这篇论文用49道题测了Gemini、GPT-4等6个模型对科学图表的理解力，发现Gemini最强但人类平均还是更高，开源模型差距明显，想了解模型真实视觉推理能力可以一读。

原文

7月16日

00:48

AK@_akhaliq

精选

该方法利用预训练的多模态大语言模型（MLLM）作为零样本奖励模型，无需额外训练即可评估文本-图像对齐。实验表明，MLLM奖励模型在多个自动评估指标上优于传统方法。这为提升扩散模型的生成质量提供了简化方案。

论文 MLLM Zero-shot Reward Model

推荐理由：不用专门训练奖励模型，直接用现成的MLLM给图片打分，省事又能提质量。

原文

7月15日

09:19

官方账号arXiv cs.AI@Kaiwen Zheng, Junchen Fu, Wenhao Deng, Hu Han, Joemon M. Jose, Xuri Ge

论文针对多模态情感识别（MER）中大模型（如7B参数）推理慢、难以部署的问题，提出轻量级框架Light-MER，模型参数小于1B。通过知识蒸馏将大教师模型的知识迁移至学生模型，引入两种优化策略：基于Sliced Wasserstein距离与隐藏状态对齐的最优传输损失，以及基于GRPO的多奖励优化以平衡性能与效率。在9个基准数据集上，Light-MER取得SOTA性能，同时推理速度显著提升。代码已在GitHub开源。

论文 Light-MER 知识蒸馏多模态

推荐理由：他们挑战了多模态情感模型必须大的假设，用知识蒸馏搞出<1B的Light-MER，9个基准超了大模型还更快，做部署的可以看看。

原文

7月13日

10:50

官方账号arXiv cs.AI@Shravan Murlidaran, Miguel P. Eckstein

论文引入Complex Social Behavior (CSB)数据集，包含100张复杂社交场景图片。研究评估了2017-2025年间4个pre-MLLM和5个MLLM模型在CSB和MS-COCO上的表现，并与20个人类描述对比。分析了物体检测、识别、幻觉、场景理解和空间依赖五种错误类型。MLLM在CSB上的场景描述准确率与人类顶级描述相当，几乎消除了所有错误类型，但偶尔仍存在空间依赖误差。

论文 VLM CSB MLLM

推荐理由：这篇论文用新数据集CSB系统地测了十年间视觉语言模型的进化，发现最新模型在复杂社交场景上已经跟人类顶级描述差不多准了，只有空间依赖错误还没完全解决。

原文

7月1日

11:06

官方账号arXiv cs.LG@Sanghyuk Chun, William Yang, Amaya Dharmasiri, Olga Russakovsky

CoMet是一种针对多模态大语言模型（MLLM）的不确定性估计方法，将不确定性分解为上下文项和多样性项，分别捕捉任务或提示引发的歧义以及上下文确定的合理答案数量。该方法训练一个轻量级后验不确定性模块，无需自回归生成答案或重复采样即可高效估计不确定性。在多个开放多模态基准测试、幻觉检测和多项选择VQA基准上，CoMet持续优于现有基线，且保持计算效率。代码已开源。

论文 CoMet 不确定性估计多模态大语言模型

推荐理由：这篇论文提出了CoMet，能高效估计多模态语言模型的不确定性，比现有方法更准更快，很适合做AI可靠性的研究者看。

原文

10:11

官方账号arXiv cs.AI@Qingyun Liu, Jiwen Zhang, Jingyi Hu, Siyuan Wang, Zhongyu Wei

MECoBench是一个多模态具身协作基准，覆盖多种真实任务、两种协作结构和三种协作模式。基于GPT-4V、Gemini等MLLM的实验表明，协作整体提升任务完成度，但收益受协作增益与协调复杂度平衡影响。通信是协作增益的关键，最佳协作模式随团队规模和模型能力变化。协作在噪声先验和探索条件下能增强鲁棒性。基准代码和数据集已开源。

论文 MECoBench MLLM 多模态智能体

推荐理由：想研究多模态智能体怎么合作干活？MECoBench 用一堆模型做了系统实验，结论直接告诉你协作和通信到底有没有用。

原文

10:08

官方账号arXiv cs.AI@Zhaoyang Luo, Runmin Dong, Miao Yang, Fan Wei, Yushan Lai, Bin Luo, Haohuan Fu

论文提出一种操作级视觉令牌跳过框架，将Transformer层分解为注意力与FFN操作，选择性跳过冗余计算。实验覆盖3种MLLM架构（含Qwen3-VL）和10个VQA基准，实现精度-效率权衡：在Qwen3-VL上减少33.7% TFLOPs，保留99.5%的原始性能。关键发现是晚期视觉令牌更新对答案表示影响很小，且有效计算具有操作主导性和层依赖性。

论文 MLLM Qwen3-VL 推理加速

推荐理由：这篇论文告诉你如何在不牺牲性能的前提下大幅降低多模态大模型的计算量。他们在Qwen3-VL上砍了33.7%的算力，性能只掉了0.5%，方法很巧妙。

原文

6月29日

10:08

官方账号arXiv cs.AI@Zhigang Chen, Xiawu Zheng, Rongrong Ji

CG-ICS 提出了一种概念引导的上下文分割方法，通过从参考图像中提取高层语义概念而非仅依赖低层视觉匹配来提升系统鲁棒性。该方法引入 MLLM 生成候选概念，并用 SAM3 驱动的评分函数和树搜索精炼选择可靠概念。同时并行视觉示例路径提供查询侧空间定位。在标准 ICS 基准测试上，CG-ICS 不仅达到最高精度，还将不同参考下的分割方差显著降低。

AI模型 CG-ICS 概念引导上下文分割

推荐理由：想让模型在不同参考图下都稳定分割？试试 CG-ICS，用概念推理代替简单视觉匹配，SAM3 和 MLLM 帮你搞定。

原文

6月26日

11:34

官方账号arXiv cs.AI@Tinghao Wang, Yichen Guo, Rui Huang, Zheng Lu, Qizhe Zhang, Chenxi Li, Yuan Zhang, Jiajun Cao, Zhirong Shen, Yaosong Du, Guangyan Gan, Wenya Wang, Lin William Cong, Shanghang Zhang

论文提出TOPS方法，从第一原理出发构建Token最优保留集。该方法基于任务相关性、信息覆盖和语义多样性三个原则。在7个MLLM骨干（如LLaVA-NeXT）和14个基准上，TOPS优于此前方法。在LLaVA-NeXT上，去除77.8%视觉token后，7B模型保持100.0%性能，13B模型提升至100.6%。结果表明剪枝冗余token可减轻幻觉。

论文 TOPS LLaVA-NeXT MLLM

推荐理由：这篇论文的TOPS方法能在剪掉近八成视觉token的同时保持甚至提升模型性能，很实用。

原文

6月25日

10:45

官方账号arXiv cs.LG@Akshay Paruchuri, Sanmi Koyejo, Ehsan Adeli

精选

论文提出Facet-Probe审计框架，从选项、证据块、文档排序、图像集、混合模态五个维度测试18个前沿和开源MLLM的排序敏感性。采用贝叶斯项目反应模型分离排序噪声与各维度偏差，发现所有模型均非排序不变，各维度平均翻转率在24%至50%之间。Gemini在温度0下的同序控制显示，验证单元中存在远超解码器噪声的排序超额。最优模型仍有13.4%的试次输出翻转，提示词级缓解措施无法泛化到视觉推理。

论文 Facet-Probe MLLM Gemini

推荐理由：这篇论文用Facet-Probe测试了18个主流多模态大模型，发现它们对输入顺序都很敏感，最好的模型也错13.4%，提醒我们模型可靠性还不是想象中那么好。

原文

6月24日

12:11

官方账号arXiv cs.AI@Zixuan Li, Haokun Lin, Yicheng Xiao, Zhiwei Li, Xinyang Song, Zelong Zheng, Yong He, Heng Yao, Ke Ding, Chao Yu, Chuan Yuan, Qi Li, Zhenan Sun

统一多模态大语言模型在文本到图像生成中仍难以精确遵循结构提示（如物体计数、空间关系、属性绑定、粗略布局）。IV-CoT提出的隐式视觉思维链框架将视觉条件分解为结构查询和语义查询的级联，结构查询先形成隐式视觉计划，语义查询再基于该计划渲染外观。训练时引入草图监督信号，无需推理时草图提取或中间解码，在单个前向传播中完成隐式CoT推理。该方法在GenEval和T2I-CompBench基准上取得更优结果，可视化分析验证了结构和语义查询的互补作用。

论文 IV-CoT MLLM 文本到图像生成

推荐理由：这篇论文解决了文生图模型在物体数量、空间位置等结构细节上经常翻车的问题，用隐式思维链单次前向传播搞定，在GenEval和T2I-CompBench上效果更好。

原文

6月18日

10:34

官方账号arXiv cs.LG@Sihan Wang, Xiyao Liu, Lianqing Liu, Zhi Han

ViGOS是一种针对多模态大语言模型(MLLM)的后训练框架，采用解耦感知与推理的自蒸馏方法(OPSD)。学生模型先生成视觉描述，再基于此进行推理，避免直接利用文本目标产生捷径。实验在通用视觉-语言、专家推理、视觉数学、空间定位和视觉-语言先验五类基准上验证，ViGOS在易出现捷径的场景中显著提升了图像依赖行为。

论文 ViGOS MLLM OPSD

推荐理由：这篇论文提出了ViGOS，专门解决多模态模型自蒸馏时只看文本不看图的毛病，在多个视觉语言基准上有效果。

原文

09:41

官方账号arXiv cs.AI@Jinhao Song, Shan Liang, Yiqun Yue, Zhuhuayang Zhang, Tianqi Gao

ThinkDeception首次将多模态大语言模型(MLLM)引入欺骗检测领域，将其从二分类任务转变为显式认知推理过程。研究团队构建了首个逐步多模态思维链(CoT)数据集，并基于此开发基础模型ThinkDeception Base。核心创新是提出Visual-Audio Consistency Group Relative Policy Optimization(VAC-GRPO)，采用渐进式训练将数据分为四个难度层级。在主流基准上，ThinkDeception在检测准确性和推理质量上达到新SOTA。

AI模型 ThinkDeception MLLM 多模态

推荐理由：这个框架用MLLM和思维链一步步拆解欺骗线索，比黑箱模型更能解释为什么判定说谎，准确率还最高。

原文

6月16日

09:47

官方账号arXiv cs.LG@Hangling Xie

该论文提出MAF（多模态自适应少样本提示）框架，用于提升多模态大语言模型在情感分析任务中的表现。MAF动态检索与查询相关的演示样本，通过编码面部表情、场景上下文和文本语义，并引入唇动幅度检测机制在多人场景中准确识别说话人。一个轻量级系数生成网络被训练用于实时输出查询条件化融合权重，加权聚合多模态相似度以选取Top-K信息量最大的示例。在多个公开基准数据集上，MAF相比骨干模型取得显著且一致的性能提升，并与强基线方法保持竞争力。

论文 MAF MLLM 情感分析

推荐理由：这篇论文提出MAF，能根据输入动态挑选示例来引导MLLM做情感分析，在多个数据集上效果提升明显，比固定提示强很多。

原文

09:44

官方账号arXiv cs.AI@Maonan Wang, Zhengyan Huang, Kemou Jiang, Yuhang Fu, Jiayue Zhu, Yuxin Cai, Xingchen Zou, Qiaosheng Zhang, Yi Yu, Ding Wang, Xi Chen, Ben M. Chen, Yuxuan Liang, Zhiyong Cui, Man On Pun, Yirong Chen

OmniTraffic是一个基于12个真实十字路口重建3D环境的可控生成管道，可编辑车道拓扑、信号相位等参数。它产出800万VQA样本和3000个人工验证的测试集，覆盖场景感知、多视角推理和决策支持三个层级。评估11个前沿MLLM显示人类与模型间存在显著差距，尤其在拓扑和时空推理任务上。基于OmniTraffic模拟数据微调轻量级MLLM后，在真实场景中性能得到提升。

论文 OmniTraffic 交通推理 MLLM

推荐理由：想研究交通场景的多模态推理？OmniTraffic提供了大规模可控数据集和基准，还能用模拟数据微调小模型提升真实表现，很实用。

原文

6月15日

11:10