Markdown Conversion Tools for Agents
Tweet
For ASEAN businesses with Chinese document ecosystems, these tools bridge enterprise knowledge bases with AI agents, improving document utilization regardless of existing platform integrations.
Meng Shao recommends Markdown as the most friendly format for Agents among dozens of document types. Five open-source tools are highlighted: anydoc (Firecrawl) converts 14 formats in 4.7ms per document, MinerU (OpenDataLab) leads OmniDocBench for PDFs, MarkItDown (Microsoft) handles ~25 formats, Docling (IBM) creates structured documents for RAG, and Marker processes ~120 pages/second. Performance varies by hardware with GPU significantly speeding up some tools.
Tweet
meng shao @shao__meng 在超过几十种的文档格式中,Markdown 目前还是对 Agent 最友好的格式,应该没有之一。 为了最大化企业和个人知识库的价值,让 Agent 能懂你的企业和你自己,即使有 WorkBuddy <-> 企微、千问办公 <-> 钉钉、豆包工作 <-> 飞书 这样的天然生态打通优势,在企业网盘、硬盘、知识库里吃灰的文档,还是要转为 Markdown 才能更好的被 Agents 用起来。 分享几个我自己平时在用的 Markdown 文档格式转换项目,朋友们可以根据自己环境内当前的文档实际情况来选择用哪个。 1. anydoc 18.8k 🌟 Firecrawl 最新开源,评价很高,文档格式覆盖很全、解析很快。纯 Rust 零依赖,把 Word/PPT/Excel/PDF 等 14 种格式毫秒级转成 LLM 可用的 GFM Markdown。 github.com/firecrawl/anyd… n 2. MinerU 78.6k 🌟 OpenDataLab (上海 AI Lab) 开源,在 anydoc 之前是我自己主力用的。它基于 1.2B 视觉语言模型的高精度文档解析器,专攻 PDF 的公式、表格与中文版面,OmniDocBench 榜首 github.com/opendatalab/Mi… Uv 3. MarkItDown 176.6K 🌟 微软开源,开源之初声量极高,不过解析能力上限不如前两个。轻量 Python 工具,把 ~25 种文件(Office/PDF/图片/音频/HTML 等)统一转成 Markdown 喂给 LL github.com/microsoft/mark… nxu 4. Docling 65.7k 🌟 IBM Research 开源,MIT 许可,企业级文档智能工具包,多格式解析为带类型的结构化文档树(DoclingDocument),为 RAG github.com/docling-projec… VyUr 5. Marker 39.3k 🌟 Datalab 开源,基于 Surya 模型套件的高速 PDF 转 Markdown/JSON 工具,GPU 批量吞吐可达 ~120 github.com/datalab-to/mar… 7GOFF 最后附上一个简单对比测试,供大家参考吧,实际表现还要基于具体环境测试(项目/速度/硬件要求) 1. anydoc 中位 4.7ms/文档 Ryzen 9 9950X3D,纯 CPU,100 个真实文档(14 种格式) 2. MinerU 0.21s/页(L4 GPU)、2.12 页/秒(A100) VLM 路径必须 GPU(≥8GB 显存) 3. MarkItDown 中位 134.8ms/文档;整份 PDF 约 0.6–1.1s 同上 CPU;比 Docling/Marker 快 50–100 倍 4. Docling 513.6ms/文档(Office);PDF 约 3.1s/页 CPU、0.49s/页 GPU CPU 可跑,GPU 明显加速 5. Marker 批量最高 ~120 页/秒(H100);B200 上 2.9–23.7 页/秒 GPU 才有意义,CPU 模式很慢 🔗 View Quoted Tweet 💬 0 🔄 0 ❤️ 0 👀 424 📊 1 ⚡
- Geek08-28 09:57原文