Multimodal(多模态)指能够同时理解和处理文本、图像、音频、视频等多种信息形式的人工智能技术。当前多模态模型已从单纯的内容理解扩展到视频生成、智能体协作、可解释性与行业落地等多个方向,成为 AI 应用的主流技术路线。
多模态模型的近期进展
多模态技术的当前焦点与观察点
现阶段讨论集中在三个层面。其一是可控性与粒度:无论是 Wan3.0 的参考控制生成,还是 MMAS 的 0.5 秒级情绪估计,行业都在追求更精细的控制能力。其二是可解释性与可信度:CRANE:首个面向多模态分类器的后验反事实解释框架以及 ERIM 框架让多模态上下文学习显式归纳规则都试图回答