Inference optimization（推理优化）是指在不显著损失模型质量的前提下，降低大模型推理阶段的延迟、显存占用和调用成本的一系列工程技术，涵盖量化、批处理调度、KV 缓存管理、算子融合等手段。随着大模型从训练竞赛转向实际部署，推理成本直接决定 API 定价与产品可行性，这条技术路线正成为云厂商与模型公司竞争的关键环节。
inference optimization 的近期进展
当前焦点与观察点
目前推理优化的竞争点集中在三个方面：一是性价比，量化与推测解码等技术能否在精度几乎无损的情况下把单位 token 成本再压低；二是 serving 架构，Serverless 与专用推理平台（如 Modal 这类）正在改变模型上线的默认路径；三是自动化，托管平台倾向于让开发者"零改动"获得优化收益，而非手动调参。
值得观察的是，模型公司与云平台正在形成新的分工：前者把优化成果内置于官方 API（如 Sakana 的做法），后者通过托管服务与智能体技能（如 SageMaker 的 agent skill）承接开源模型的部署需求。对使用者而言，选择自建推理栈还是直接调用优化后的托管 API，将更多取决于规模与数据合规要求，而非技术能力本身。