模型

OpenBMB 推出 MiniCPM-V-4.7-35B-A3B 20GB 量化版,保留约 95% 性能

精选理由

MiniCPM-V-4.7-35B-A3B 出了 20GB 量化版,性能只掉 5% 左右,消费级显卡就能本地跑视觉模型了。

OpenBMB 发布 MiniCPM-V-4.7-35B-A3B 的多硬件适配方案,方便在不同设备上部署。其中 20GB 量化版本在本地部署时保留了 BF16 原始性能的约 95%,官方认为这是本地运行的高性价比选择。该模型属于视觉语言模型(VLM),主打在消费级硬件上的高效推理。

原文 · OpenBMB

Great to see MiniCPM-V-4.7-35B-A3B becoming accessible across different hardware setups. 🔥 A 20GB quant retaining ~95% of BF16 performance is a great tradeoff for local deployment. This is exactly where efficient VLMs become practical.