MiniCPM-o

general · First seen 2026-05-22 · Last seen 2026-10-23 · 12 mentions

Overview

MiniCPM-o 是面壁智能(OpenBMB)推出的开源全模态大模型系列,能够同时处理文本、图像、音频与视频,并支持实时流式交互。该系列以较小的参数量在端侧和消费级设备上实现接近大模型的多模态能力,其中 MiniCPM-o 4.5 是当前最受关注的版本,主打全双工实时语音与视频对话。

MiniCPM-o 4.5 的核心进展

MiniCPM-o 4.5 最受瞩目的特点是实现了全双工实时交互。据多方报道,这个 9B 参数的开源模型可以像真人对话一样,在用户说话过程中随时插话和回应,同时支持实时语音与视频输入,交互体验被认为接近 GPT-4o 的实时语音模式,而后者并未开源。相关讨论可见 MiniCPM-o 4.5 实现全双工实时语音视频交互,9B 开源模型 和 MiniCPM-o 4.5 实现全双工实时交互,接近真人对话。

在工程落地方面,MiniCPM-o 4.5 已接入主流推理框架。OpenBMB 官方宣布 MiniCPM-o 4.5 is now in SGLang Omni v0.1.7,开发者可以通过 SGLang Omni 直接部署该模型,降低了实时全模态应用的搭建门槛。

周边生态与研究

MiniCPM-o 所代表的全双工语音模型方向,也催生了配套的系统研究。一篇新论文提出 Acoustic-to-Text KV 压缩:让全双工语音模型长对话内存降 64.6%,通过压缩声学到文本的键值缓存,使长对话场景的内存占用下降 64.6%,对 MiniCPM-o 这类需要持续监听与响应的模型尤为关键。

更宏观地,vLLM-Omni 技术报告:统一多模态生成运行时 描述了统一的多模态生成运行时架构,为语音、视频等异步流式模态提供推理底座,这类框架正在成为 MiniCPM-o 等全模态模型的标准部署方案。

当前焦点与观察点

目前围绕 MiniCPM-o 的讨论主要集中在三点:一是开源全双工交互能否持续缩小与闭源实时模型(如 GPT-4o 语音模式)的差距;二是 9B 级模型在端侧设备上的推理成本与延迟优化,KV 压缩等工作是关键变量;三是生态成熟度——SGLang Omni、vLLM-Omni 等运行时的支持情况,将直接影响开发者采用速度。全双工全模态交互正从演示走向可部署,MiniCPM-o 是这一趋势中值得跟踪的开源代表。

Coverage

7 on file
MiniCPM-o · AI 话题观测|AI热报