Serverless(无服务器计算)是一种开发者无需购买或管理底层服务器资源、按实际用量计费的云服务模式。随着大模型推理需求爆发,Serverless 正从传统的事件驱动函数计算,扩展到 GPU 推理和模型微调等 AI 场景,成为云厂商竞争的新焦点。
Serverless 在 AI 领域的近期进展
当前焦点与观察点
目前的趋势是「无服务器化」从托管代码走向托管模型。Databricks 与 AWS 都在把 GPU 的分配、扩缩容和运维抽象掉,让企业像调用 API 一样完成微调和推理,Databricks 与 NVIDIA 的合作进一步支持企业用自有数据微调开源模型。
基础设施层面,CoreWeave 等新兴算力厂商正把 Serverless Inference 作为差异化产品,竞争点在于模型目录丰富度和冷启动速度;W&B SDK 将 CoreWeave Forge 设为默认端点,说明工具链也在向这类平台靠拢。
值得关注的问题有三个:一是冷启动和模型加载延迟仍是 Serverless 推理的核心技术瓶颈,学界与工业界都在寻找优化方案;二是按量计费 GPU 推理的成本在规模化场景下是否优于预留实例,尚无统一结论;三是随着 TokenPulse 等推理服务商在新加坡开设 APAC 中心,区域化部署和数据合规可能成为厂商布局的下一个变量。