推理芯片（Inference Chip）是专为 AI 模型部署阶段——即训练完成后的实际调用与响应——设计的专用处理器，与训练芯片相对，强调单位功耗下的吞吐量、延迟和成本效率。随着大模型推理成本成为云厂商和 AI 公司的主要开支项，推理芯片正从 GPU 的辅助角色走向自研主导，成为当前 AI 基础设施竞争的核心战场之一。
推理芯片近期进展
当前焦点与观察点
推理芯片目前的竞争呈现三条主线。其一是云巨头自研替代：微软 Maia 300 明确以「每瓦 token 数」对标 GPU，AWS 则借助 PyTorch 生态原生支持来降低 Trainium 的迁移成本，软件栈兼容性正成为专用芯片能否规模落地的关键变量。其二是架构路线分化：Groq 选择堆叠 DRAM 突破 SRAM 限制，Positron AI 的 Atlas 推理系统也通过 General Compute 达成多年期合作进入市场，不同存储与计算架构之间的取舍仍在验证期。其三是垂直场景专用化：富士胶片、GE 医疗等五方承接 NEDO 项目，开发 2nm 医疗影像 AI 推理芯片，显示推理芯片正从通用云侧向行业定制、端侧延伸。
值得关注的是，推理芯片的大规模替换仍受制于生态成熟度与模型迭代速度——专用芯片的性能优势需要与持续变化的模型架构保持兼容。明年微软 Maia 300 的实际负载表现，以及 PyTorch 等框架对各类专用芯片的支持深度，将是判断这一市场格局走向的重要观察点。