MLLMs(Multimodal Large Language Models,多模态大语言模型)是在大语言模型基础上扩展了图像、视频等多模态输入与输出能力的模型体系,目前是 AI 领域最活跃的研究方向之一。从近期 arXiv 上的密集产出看,研究重心正从"能看图"转向"看得准、推得对、算得省"三条主线。
MLLMs 近期进展
当前焦点与观察点
综合来看,MLLMs 领域的争议与观察点集中在三处:一是可靠性,幻觉(尤其在多图像场景)与"视觉证据是否真正被利用"的问题屡被诟病,MIOH 等基准和视觉信用审计类工作正是对此的回应;二是效率,视觉标记冗余带来的高成本推动自适应剪裁等工程优化成为热点;三是能力边界,空间推理、科学领域指令遵循等细分能力被系统性地基准化,说明社区正从泛化评测走向细粒度能力诊断。此外,临床诊断等高风险应用开始出现,对模型可解释性与排序稳定性的要求会反过来塑造训练方法。短期内,值得关注的趋势是强化学习式后训练与感知质量评估的结合,以及针对视觉 token 压缩的技术能否在不损失精度的情况下成为主流方案。