想省钱又不想丢信息？这篇讨论了直接传PDF和转Markdown的token开销，还推荐了个7.5w星的开源项目帮你权衡。
直接上传PDF给多模态AI会消耗约4倍token，但能保留排版和表格信息，提升回答质量。而转Markdown可节省80% token，但可能导致图片和图表信息损耗。当前Agent消耗大头是工具调用，且Prompt Caching使输入token成本降低。有个7.5w star的开源项目可免费将PDF转Markdown，需根据场景选择合适方式。
一般来说没必要去省那一点 token，如果是图文、带图表的还是 pdf 最简单省事。 费力去转 Markdown + 图片，看起来省 Token，但是导致信息损耗，本来多模态模型可以一页一页“看”内...
一般来说没必要去省那一点 token，如果是图文、带图表的还是 pdf 最简单省事。 费力去转 Markdown + 图片，看起来省 Token，但是导致信息损耗，本来多模态模型可以一页一页“看”内容，换成markdown+图片，图片、图标部分由于分离出去了反而不利于模型理解上下文导致信息损耗。 再说 Token 消耗，现在 Agent 消耗 Token 的大头，不是输入的 token，而是各种 skills、反复调用工具。 而且有 Prompt Caching，输入的 Token 多一点少一点对于最终成本已经差别没那么大了。 铁锤人 @lxfater 直接上传PDF给AI会让你多花4倍的token！！ 大家可能以为, 把PDF传上到AI，和自己复制粘贴文本到对话框效果一样。但事实上，AI会用贵4倍的视觉能力看一遍你上传的文件。 但为什么AI要浪费4倍TOKEN方式处理文档呢? 因为这么处理能保留排版，表格这些信息, 回答质量会比所有同行高那么一点点。即使是高一点点也意味着第一，而第一永远享受最大的资源。 我们可以用下面这个7.5w star的开源项目，解决这个问题。 它能把 PDF、图片、Office 文档整篇变成 Markdown格式，同时不失去，关键的图像，排版的信息。 这样处理后，直接省下80%的TOKEN！！ 之前这种服务,要么按页收费，要么要自己捣鼓配置，很难上手。 有了这个项目后，直接打开网页就能无限使用！！ 关注我，每天分享一点实用AI技巧！！ github.com/opendatalab/mi… 🔗 View Quoted Tweet 💬 3 🔄 1 ❤️ 27 👀 4604 📊 6 ⚡