16:29
AI Will@FinanceYF5
AI Will@FinanceYF5推荐理由：想低成本跑DeepSeek？有第三方用SGLang和AMD MI300把API成本压到官方的五分之一，技术方案公开，值得参考。
AMD MI300
共 1 条相关 AI 资讯
7月7日
16:29
第三方服务商通过SGLang推理引擎、Prefill-Decode解耦架构、专家并行技术及AMD MI300 GPU，将DeepSeek模型的API调用成本降至官方价格的1/5。该技术栈组合显著降低了推理开销，使小型团队和企业能以更低成本使用高性能模型。方案中涉及的专家并行与Prefill-Decode分离是核心优化手段。