精选理由
OpenAI 不靠堆芯片，靠系统优化就把推理成本砍半，API 用户很快能享受降价或更高额度。
OpenAI 工程师透露，通过一系列系统底层优化，AI 模型推理成本已降低超过50%。优化主要依靠提升现有服务器资源利用率，而非新增计算芯片。此举可减少英伟达芯片使用量，节省的成本可能用于降低API定价或提高用户使用限额。
原文 · IT之家
消息称 OpenAI 通过系统底层优化，将 AI 模型推理成本减半
IT之家 6 月 30 日消息，据 The Information 报道，OpenAI 工程师在内部透露，公司已通过一系列全新的系统底层优化，成功将 AI 模型的推理（运行）成本降低了 50% 以上。 据IT之家了解，推理成本指的是模型在实际运行并响应用户请求时所消耗的计算资源。 此次优化主要得益于现有服务器资源利用率的提升，而非依赖新增计算芯片的投入。这使得运行其 AI 系统所需的英伟达芯片更少，这些节省的成本可用于降低 API 定价或提高用户使用限额。