百度发布 Unlimited OCR：3B MoE 模型用 R-SWA 解决长文档解析显存膨胀
百度基于 DeepSeek-OCR 微调了个 OCR 模型，几十页文档一次解析完还不掉速，能直接吐 Markdown 和 JSON，做 RAG 的可以试试。
百度推出 Unlimited OCR，一个 3B MoE 端到端文档解析模型，激活参数仅 5 亿，基于 DeepSeek-OCR 微调，可本地部署。核心机制 R-SWA 让 KV cache 变为固定容量队列：生成每个 token 时保留全部图像视觉 token，对已生成文本只回看最近 128 个，使显存和计算成本不随输出长度增长。输出 6000 token 时比 DeepSeek-OCR 快约 35%，32K 上下文单次前向可解析 40+ 页，每页 1024×1024 图像压缩为 256 token，Distinct-35 达 97%。模型直接输出 Markdown/JSON，支持表格、数学公式和阅读顺序恢复，可作为 RAG 和知识库的数据入口。
百度的这个新OCR可以，Unlimited OCR，解决长文档OCR速度衰减和显存膨胀问题，几十页文档一次性匀速解析完
3B MoE（激活5亿参数），端到端文档解析，可本地部署
基于DeepSeek-OCR微调，核心是R-SWA，输出6000 token时比DeepSeek-OCR快约35%
传统LLM解码器的KV cache会随输出变长而不断膨胀，导致又吃显存又慢
R-SWA模拟人类抄写的工作记忆，生成每个token时始终能看到全部图像视觉token，对已生成文本只回看最近128个，KV cache变为固定容量队列，使单token的注意力计算开销不再随输出长度持续增长，无论输出1万还是10万token，显存和计算成本保持恒定
每页1024×1024图像压缩成256 token，32K上下文单次前向解析40+页，不漏行、不重复（Distinct-35 97%）
直接输出Markdown/JSON，支持表格、数学公式、阅读顺序恢复，可以作为RAG和知识库的数据入口
这个机制还可以扩展到ASR、机器翻译这种长序列生成上
#OCR #UnlimitedOCR #文档解析
- Jerry Liu10-11 21:12原文
