AITOPAI热报

Batch

general · First seen 2026-05-22 · Last seen 2026-10-27 · 185 mentions

Overview

Batch（批处理）指将多个任务或数据合并为一批统一提交、统一计算的处理方式，在大模型推理与训练中处于核心位置：无论是 API 侧的离线批量调用，还是推理引擎内部的连续批处理调度，都直接决定了吞吐量与成本。近期的开源推理框架迭代和批量接口更新，让 batch 的工程价值再次被集中讨论。

Batch 近期进展

  • Perplexity Agent API 上线 Batch API，单文件支持 5 万条请求：批量接口正成为各家 API 的标配，适合大规模离线任务，以牺牲实时性换取更低成本和更高吞吐。参考 Perplexity Agent API 上线 Batch API。
  • vLLM 宣布性能追平 DeepSeek 自研推理引擎 DeepInfer，其中对 batch 调度和吞吐的优化是关键比拼点。参考 vLLM 性能追平 DeepInfer。
  • vLLM 此前复现 DeepSeek 部署性能时披露，decode 阶段差距已缩至 6% 以内，说明开源推理栈在批处理调度上已逼近一线自研水平。参考 vLLM 复现 DeepSeek 部署性能。
  • 吴恩达在近期讨论中指出，AI 在可验证任务上进步最快，这类任务往往适合批量化、自动化流水线处理。参考 吴恩达谈 AI 进步最快的任务类型。

    • 当前焦点与观察点

    围绕 batch 的讨论主要集中在两条线：一是推理引擎层面，vLLM 与 DeepInfer 的性能对比表明，连续批处理、调度策略和显存管理已成为开源框架追赶自研系统的主战场；二是 API 层面，Batch API 的普及让大规模离线处理（数据标注、评测、内容生成）的成本显著下降，5 万条请求级别的单文件容量也反映出厂商对批量场景的重视。

    值得观察的问题包括：批量接口与实时接口之间的定价差是否会进一步拉大；推理引擎在不同 batch 规模下的延迟-吞吐权衡如何影响端侧与云端部署选择；以及 ECMWF 提出的批量 NN 4D-Var 框架（见 arXiv 论文）这类批量化机器学习思路，是否会扩展到传统数值计算领域。总体来看，batch 正从单纯的工程实现细节，上升为影响推理成本结构和系统设计的关键变量。

    Coverage

    10 on file