Primary sourceAWS Machine Learning Blog
View sourceEvent ·Official first-hand
在 Amazon EKS 上用 NVIDIA Run:ai 实现单张 A10G GPU 跑两个 Pod
AWS 发布教程,演示在 Amazon EKS 上使用开源的 NVIDIA Run:ai GPU Fractioning,让两个内存受限的 Kubernetes Pod 共享同一张 NVIDIA A10G GPU。教程从零开始搭建:构建自定义 Amazon Linux 2023 镜像,安装 KAI Scheduler 和 GPU Fractioning Operator 两个核心组件。 工作流程包含三个环节:通过调度器把 Pod 分配到同一块 GPU,由 Operator 划分显存配额,再对每个 Pod 的 GPU 内存契约做强制执行和指标验证。这意味着原本一个 Pod 独占一张 GPU 的模式,可以改为按显存切片使用。 对小显存模型推理、开发测试这类负载,切分能直接降低单位 GPU 成本。相比 NVIDIA 自己的 MIG 硬件级切分,Run:ai 方案走软件层、适用于 A10G 等不支持 MIG 的卡,部署在 EKS 上的团队可以直接照着教程落地。
Current read
做 Kubernetes 上 GPU 调度的朋友可以看看,AWS 官方手把手教你在 EKS 上把一张 A10G 切给两个 Pod 用,用的是开源的 Run:ai 方案。推理负载小的团队照着做能省不少 GPU 开销,比硬件 MIG 更通用。
11 sources31° AI heatLast updated 2026/11/19 16:13:51
Evidence
11 sourcesRelated source 1TestingCatalog
View sourceRelated source 2vLLM
View sourceRelated source 3Ate-a-Pi
View sourceRelated source 4PyTorch
View sourceRelated source 5DAIR.AI
View sourceRelated source 6techcrunch
View sourceRelated source 7Lxfater
View sourceRelated source 8Nathan Lambert
View sourceRelated source 9NVIDIA
View sourceRelated source 10Epoch AI
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.