AWS Lambda 新增 GPU 支持,面向无服务器推理场景
AWS Lambda adds GPU support for serverless inference
做后端的朋友注意,AWS Lambda 终于能直接跑 GPU 推理了。以前在 serverless 里跑模型只能绕道 EC2 或 EKS,现在按调用付费就行,流量稀疏的应用能省不少闲置 GPU 的钱。
AWS 宣布为其无服务器计算服务 Lambda 增加 GPU 支持,用于承载需要 GPU 加速的推理工作负载。AWS 指出,这类工作负载此前通常需要团队自行搭建和管理 GPU 基础设施。
通过把 GPU 能力直接接入 Lambda 的按量计费模型,开发者无需再维护常驻的 GPU 服务器,可以在推理请求到达时自动分配算力,请求结束后释放资源。这对流量波动大的推理场景(例如周期性批处理、低频调用模型)尤其有用,能显著减少闲置 GPU 的成本浪费。
在这之前,需要在无服务器架构里跑推理的开发者通常要退回到 EC2、EKS 等需要自己扩缩容的方案,或者依赖 Lambda 之外的专用推理服务。GPU 加持后的 Lambda 补上了这一缺口,对后端工程师和企业用户意味着可以用一套编程模型同时覆盖 CPU 业务逻辑与 GPU 推理。
AWS Lambda adds GPU support for serverless inference
AWS said the feature targets workloads that need GPU acceleration but are often built on self-managed infrastructure.
This report is categorized under AITOP's "Products" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include AWS Lambda, serverless, AI infrastructure.
Source attribution: curated from Tech in Asia (@Aiko Gao Ishida).