MLLM

general · First seen 2026-05-22 · Last seen 2026-11-20 · 87 mentions

Overview

MLLM(多模态大语言模型,Multimodal Large Language Model)是指能够同时理解和生成文本、图像、音频等多种模态信息的大语言模型,是当前人工智能领域最活跃的研究方向之一。从场景图生成到具身智能、从情绪识别到自动驾驶,MLLM 正在被广泛应用于需要跨模态推理的现实任务中,但其在结构化感知、细粒度视觉和文化公平性等方面仍暴露出明显短板。

MLLM 的近期研究进展

  • PSGAgent:用智能体推理提升多模态模型的场景图生成能力。该工作引入智能体式推理流程,让模型在生成场景图时进行分步结构化分析,改善了对图像中对象关系与属性的刻画精度,为 MLLM 输出更可靠的结构化感知结果提供了思路。
  • BEAKER 基准发布:评估多模态模型在自动驾驶化学实验室中的具身能力。这一新基准将 MLLM 放入可控的自动化实验环境,考察其在具身决策与操作层面的表现,反映出研究重心正从纯文本-图像问答向具身智能评估延伸。
  • DiMuRe:诊断引导的多层级恢复框架提升机器人任务执行成功率。该框架通过在执行失败后进行分层诊断与恢复,提高 MLLM 驱动的机器人任务成功率,表明多模态推理与闭环纠错机制的结合正在成为机器人应用的关键方向。
  • DA-CoT:训练免费难度感知思维链方法降低多模态模型过度思考。针对推理链过长带来的算力浪费与错误累积,该方法在不重新训练的情况下按题目难度调节思维链深度,是缓解 MLLM "过度思考"问题的低成本方案。
  • 当前焦点与观察点

    从近期文献看,MLLM 研究呈现出三个明显趋势。其一是能力边界的精细测量:SquintBench 等工作 (研究链接) 发现,模型在处理需要"眯眼"式细粒度辨认的低对比度文字时表现远逊于人眼,说明现有视觉编码在高分辨率细节场景下仍不可靠。其二是从输出结果转向过程质量,如 ERIM 框架 (研究链接) 让上下文学习中的规则归纳显式化、PILOT 将推理建模为隐变量 (研究链接),研究者更关心模型"怎么想"而非"答对没"。

    其三是公平性与鲁棒性开始被认真审视。Salesforce AI Research 的分析 (研究链接) 指出,以 MLLM 作为自动评审时,其在涉及文化分歧的题目上打分偏向单一文化,这对用大模型做自动化评估的可靠性提出了直接质疑。此外,Google 发布 MTG-AD 数据集 (研究链接) 将音频描述纳入生成质量评估,CASE 框架 (研究链接) 探索冻结模型上的技能演化,均显示评估体系正快速细化。

    后续值得观察的是:MLLM 能否在具身与机器人任务中实现稳定闭环,结构化输出(场景图、音频描述)能否达到下游应用可用水平,以及作为评审模型的偏差问题是否会催生更规范的多文化校准标准。

    Coverage

    10 on file