MLLM(多模态大语言模型,Multimodal Large Language Model)是指能够同时理解和生成文本、图像、音频等多种模态信息的大语言模型,是当前人工智能领域最活跃的研究方向之一。从场景图生成到具身智能、从情绪识别到自动驾驶,MLLM 正在被广泛应用于需要跨模态推理的现实任务中,但其在结构化感知、细粒度视觉和文化公平性等方面仍暴露出明显短板。
MLLM 的近期研究进展
当前焦点与观察点
从近期文献看,MLLM 研究呈现出三个明显趋势。其一是能力边界的精细测量:SquintBench 等工作 (研究链接) 发现,模型在处理需要"眯眼"式细粒度辨认的低对比度文字时表现远逊于人眼,说明现有视觉编码在高分辨率细节场景下仍不可靠。其二是从输出结果转向过程质量,如 ERIM 框架 (研究链接) 让上下文学习中的规则归纳显式化、PILOT 将推理建模为隐变量 (研究链接),研究者更关心模型"怎么想"而非"答对没"。
其三是公平性与鲁棒性开始被认真审视。Salesforce AI Research 的分析 (研究链接) 指出,以 MLLM 作为自动评审时,其在涉及文化分歧的题目上打分偏向单一文化,这对用大模型做自动化评估的可靠性提出了直接质疑。此外,Google 发布 MTG-AD 数据集 (研究链接) 将音频描述纳入生成质量评估,CASE 框架 (研究链接) 探索冻结模型上的技能演化,均显示评估体系正快速细化。
后续值得观察的是:MLLM 能否在具身与机器人任务中实现稳定闭环,结构化输出(场景图、音频描述)能否达到下游应用可用水平,以及作为评审模型的偏差问题是否会催生更规范的多文化校准标准。