JevOCRBench 是 OpenBMB 在开源 OCR 套件 MiniCPM-OCR 1.0 中一同发布的 OCR 校验基准,用于衡量模型对识别结果正确性的判断能力。它与 MiniCPM-OCR 1.0 识别模型及配套的 Jev 校验模型同期开源,共同构成一套可在消费级设备本地运行的完整文字识别方案。由于 OCR 输出难以自动判分,校验模型如何可靠地质检识别结果,正是这一基准要回答的问题。
JevOCRBench 与 MiniCPM-OCR 的近期进展
当前焦点与观察点
JevOCRBench 的核心价值在于把“OCR 识别得准不准”拆成了两个可分别评测的问题:识别模型负责输出文本,Jev 这样的校验模型负责判断输出是否正确。这种“识别 + 质检”的分工在端侧部署场景中尤其实用——当模型必须离线运行、无法依赖外部人工复核时,一个轻量的校验器可以显著提升整体可信度。
值得关注的观察点包括:其一,1.3B 识别模型 + 2B 质检模型的组合能否在更多语言、复杂版式场景下保持开放 SOTA 的宣称,需要第三方基于 JevOCRBench 复现验证;其二,校验模型自身的误判率(漏检错误、误报正确)目前缺乏独立评测,这会影响基准结论的公信力;其三,端侧可跑 OCR 加上本地质检的组合,可能推动隐私敏感场景(票据、证件处理)向本地推理迁移,后续是否有其他厂商跟进类似基准与套件值得关注。