Xiaomi open-sources 0.8B OCR model Xiaomi-OCR-0
小米开源 0.8B 参数 OCR 小模型：打通文档解析与视觉问答，支持 Markdown 与 JSON 输出
A sub-1B model reaching near-top OmniDocBench scores means document parsing and invoice extraction can now run on modest hardware rather than large multimodal models. Teams building document pipelines can deploy it locally, pull weights from Hugging Face or GitHub, and use the JSON and Markdown outputs directly in automation workflows. Against rivals like PaddleOCR's larger document models, it trades scale for efficiency while matching them on benchmarks.
On 30 Oct, Xiaomi released Xiaomi-OCR-0, an open-source 0.8B-parameter document understanding model with weights and inference code on Hugging Face and GitHub. Built on Qwen3.5-0.8B-Base, it was trained on about 170 million OCR and document understanding samples. The single model handles document parsing with Markdown and LaTeX output, key information extraction into JSON from invoices and forms, and OCR-based visual question answering. Xiaomi reported scores of 95.24 on Real5-OmniDocBench (first among compared models), 96.83 on OmniDocBench v1.6 (second overall, first under 1B parameters), 97.84 on UniMER-Test and 92.27 on PubTabNet.
小米开源 0.8B 参数 OCR 小模型：打通文档解析与视觉问答，支持 Markdown 与 JSON 输出
IT之家 10 月 30 日消息，小米官方今日宣布开源轻量级文档理解模型 Xiaomi-OCR-0，模型权重与推理代码已同步上线 Hugging Face 和 GitHub。 官方给出的参数规模为 0.8B，定位是单一模型同时覆盖文档解析、关键信息抽取与 OCR 视觉问答三类任务。 在文档解析方向，该模型可识别正文、表格与数学公式，按阅读顺序输出结构化结果，原生支持 Markdown、LaTeX 格式。关键信息抽取面向发票、收据、卡证和业务表单，依据指定字段定位并输出 JSON 等结构化数据，可接入自动化处理流程。 OCR 视觉问答则允许围绕文档与图表内容进行跨区域检索、数值计算和语义推理，而非仅做文字转写。小米方面表示，这一组合覆盖了从底层文字感知到高层内容理解的链路。 据官方披露，Xiaomi-OCR-0 基于 Qwen3.5-0.8B-Base 基座构建，训练累计使用约 1.7 亿条 OCR 与文档理解样本。数据侧采用异构专家共识机制，对正文、表格、公式等不同区域由多个 OCR 专家模型交叉校验并投票筛选高置信标注。 针对复杂表格与公式，团队引入“预测 — 重渲染 — 视觉比对”的闭环校验：将候选解析结果重新渲染为图像，与原始文档区域做像素和结构级比对，定位行列错位或符号缺失后定向修正。此外还按版面复杂度、字体形态与物理退化因素合成困难样本，补充多语种、古籍手写、屏幕摩尔纹与扭曲光照等长尾数据。 训练分为三个阶段：Q-Mask 文本锚定强化视觉局部区域与文字 Token 的空间对应；OCR 持续预训练以百亿级 Token 的多任务混合数据打底；混合任务强化学习则在困难样本上使用结构编辑距离、表格匹配度和问答准确率作为可验证奖励信号。 小米公布的评测结果显示，在模拟扫描、纸张弯曲、屏幕翻拍、光照变化和倾斜拍摄五种真实采集方式的 Real5-OmniDocBench 上，Xiaomi-OCR-0 得分为 95.24 分，在其对比模型中排名第一。在 Wild-OmniDocBench 上得分为 87.94 分。 综合基准 OmniDocBench v1.6 中，该模型得分 96.83 分，位列总榜第二，与榜首相差 0.04 分，在 1B 以下参数模型中排名第一。专项测试方面，数学公式识别基准 UniMER-Test 得分 97.84 分，表格结构识别基准 PubTabNet 得分 92.27 分。 在古籍与书法评测集 Chronicles-OCR（Mature Scripts）中，Xiaomi-OCR-0 得分 73 分，小米方面称这一成绩与闭源模型 Seed 2.0 Pro 的 72 分处于同一水准。 文档理解方面，小米在 DocVQA、InfoVQA、ChartQA、OCRBench 和 TextVQA 五项基准上取平均分，Xiaomi-OCR-0 为 83.2 分。官方对比数据显示，该成绩高于 HunyuanOCR-1.5（1B，76.5 分）、TokenVL-2B（2B，78.1 分）和 TextHawk2（7B，78.5 分）。 同一组对比中，通用多模态模型 Qwen3.5-2B 为 80.9 分，8B 规模的 MiniCPM-V-4.5 为 82.6 分，Qwen3.5-4B 为 84.9 分。上述数据均来自小米官方发布内容，尚未见第三方独立复现。 落地层面，小米称相关技术已用于手机端“超级小爱”。用户短按 AI 键、三指上滑或语音指令，可提取屏幕中的外卖取餐码、快递取件码、排队号等时效性信息并置于醒目位置。 在账单与卡证场景中，识屏可抽取交易金额、商户名称、支付时间与消费类别，用于智能记账；纸质发票、身份证、银行卡等材料可通过拍照完成字段提取。日程与出行场景中，系统可识别群聊中的会议通知或海报上的时间地点并生成日程卡片。 开源部分，小米除公开 0.8B 模型权重与推理代码外，还提供浏览器交互式 Demo、MCP 服务以及 Agent Skill 工具包，开发者可将其集成至自有业务流或智能体系统。官方给出的体验方式为向 AI Agent 发送 GitHub 仓库中的 SKILL.md 指令，自动完成环境配置与本地部署。
