MLLMs

concept · First seen 2026-05-22 · Last seen 2026-11-18 · 134 mentions

Overview

MLLMs(Multimodal Large Language Models,多模态大语言模型)是在大语言模型基础上扩展了图像、视频等多模态输入与输出能力的模型体系,目前是 AI 领域最活跃的研究方向之一。从近期 arXiv 上的密集产出看,研究重心正从"能看图"转向"看得准、推得对、算得省"三条主线。

MLLMs 近期进展

  • 训练与推理效率:VIP-Router实现视觉标记自适应剪裁提出对视觉标记进行按需剪裁,直接针对多模态模型中视觉 token 数量庞大、推理开销高的痛点。
  • 强化学习驱动的多模态推理:基于感知优势估计的多模态推理强化方法将感知质量纳入优势估计,用于提升 MLLMs 在复杂视觉推理任务上的表现;多模态临床诊断的排序感知提示优化则把这类模型推向临床诊断场景。
  • 幻觉评测:多图像物体幻觉基准MIOH发布聚焦多图像输入下的物体幻觉问题——这被视为 MLLMs 落地前必须跨过的可靠性门槛。
  • 预训练与对齐范式:MMCS:多模态代码切换实现对象级对齐的新预训练范式探索对象级的图文对齐新方式;SciMIF:理解科学领域的多模态指令遵循则把指令遵循能力评估扩展到科学领域。空间理解方面,Rule-Compliant Visual Spatial Planning 与 TriViewBench 分别考察空间规划与多视图结构推理,多模态空间推理的视觉信用审计试图追溯模型在空间推理中真正依赖了哪些视觉证据。
  • 当前焦点与观察点

    综合来看,MLLMs 领域的争议与观察点集中在三处:一是可靠性,幻觉(尤其在多图像场景)与"视觉证据是否真正被利用"的问题屡被诟病,MIOH 等基准和视觉信用审计类工作正是对此的回应;二是效率,视觉标记冗余带来的高成本推动自适应剪裁等工程优化成为热点;三是能力边界,空间推理、科学领域指令遵循等细分能力被系统性地基准化,说明社区正从泛化评测走向细粒度能力诊断。此外,临床诊断等高风险应用开始出现,对模型可解释性与排序稳定性的要求会反过来塑造训练方法。短期内,值得关注的趋势是强化学习式后训练与感知质量评估的结合,以及针对视觉 token 压缩的技术能否在不损失精度的情况下成为主流方案。

    Coverage

    10 on file