AITOPAI热报
Event ·Single source

LlamaIndex 将 OCRia-1 在单张 B200 上提速 10 倍

LlamaIndex 的文档解析模型 OCRia-1 在单张 B200 上从 285 tok/s 提升到 2800 tok/s，速度提高约 10 倍。团队用量化与 dflash2 投机解码同时降低显存占用并提高吞吐。另有 17 项小优化，包括 replaySSM、kernel fusion 和 vLLM 改动，每项带来 2–5% 的提升，累积效果显著。部分优化计划回馈开源 vLLM 项目，LlamaParse 的整体延迟也会继续下降。

Current read

LlamaIndex 把 OCRia-1 在一张 B200 上跑出 2800 tok/s，17 个小优化加量化和投机解码，做推理优化的人可以照抄作业。

2 sources41° AI heatLast updated 2026/11/3 19:16:26

Evidence

2 sources
Related source 1LlamaIndex
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

Open the story