AMD MI300X 作为 AI 加速芯片，近期在推理性能上实现了显著突破，成为行业焦点。背景方面，MI300X 是 AMD 针对大规模 AI 工作负载推出的 GPU，凭借其高带宽内存（HBM3）和计算能力，被视为英伟达 H100/B200 的潜在竞品。
- 近期主要进展包括：
- 超高推理速度实现：Kog AI 利用 8 块 MI300X 部署 2B 模型，达到了 3000 tokens/s 的推理速度，相比传统方案有 10-30 倍提升。该成果展示了 MI300X 在内存带宽和并行处理方面的优势（Kog@AI 实现 3000 tokens/s 推理速度，8×AMD MI300X 跑 2B 模型）。
- 持续优化与生态发展：Kog AI 进一步验证了 MI300X 在低延迟推理场景的潜力，其性能表现接近甚至超越同级别竞品，推动了 AMD 在 AI 芯片市场的竞争力（Kog AI 实现 3000 tokens/s 推理速度，10-30 倍提升）。
当前焦点在于 MI300X 能否在推理场景中大规模替代英伟达产品，以及其软件生态（如 ROCm）的成熟度。此外，市场对高性能 AI 芯片的需求持续增长，MI300X 的性价比和能效比成为关键考量。未来观察点包括：AMD 能否保持性能迭代速度，以及大型云厂商（如 Anthropic）是否会扩大 MI300X 部署以降低对英伟达的依赖（Anthropic 发布 Claude Opus 4.8，估值达 9650 亿美元）。