MiniCPM5-2B在iPhone Air上达到37 tok/s

MiniCPM5-2B 出了 4-bit 量化版，权重才 1.61 GB，T4 上能跑 70 tokens/s，想在自己机器上跑小模型可以试试。

OpenBMB@OpenBMB11 个信源在谈原文

用 FIT-GGUF 给 MiniCPM5-2B 做了 4 个混合精度量化版，1.14 到 1.46 GiB，还能自定目标体积，比固定 Q4/Q5 灵活多了。

OpenBMB@OpenBMB原文

面壁智能开源了 2B 参数的 MiniCPM5-2B，在 4B 以下模型中表现第一，还支持工具调用和智能体任务。

面壁的MiniCPM5-2B在4B以下模型里AA榜单第一，还有512K上下文和智能体能力，马上要开源了，小模型也能干大事。