SageMaker HyperPod 相关 AI 资讯 · AI 热点

8月12日

22:04

22:04

官方一手AWS Machine Learning Blog@Qingyuan Tang

精选

AWS博客介绍了一种在Amazon SageMaker HyperPod上使用Curvine构建分层KV缓存的方法。该方法将KV缓存扩展到共享分布式NVMe池中，使副本能以接近本地磁盘的速度复用缓存。这解决了大规模LLM推理中GPU实例过大或首token延迟高的问题。通过使用成本更高效的实例，该方法在保持性能的同时降低了推理成本。

技巧 SageMaker HyperPod Curvine KV缓存

推荐理由：AWS官方教你用Curvine在HyperPod上搞分层KV缓存，省GPU内存还能提速，跑大模型推理的可以看看。

7月10日

23:28

23:28

官方一手AWS Machine Learning Blog@Xuan Lu

精选

本教程展示了如何在Amazon SageMaker HyperPod上使用vLLM实现DPD（分离预填充和解码）。DPD通过将预填充阶段和解码阶段分别部署在不同的计算节点上，显著降低了推理延迟。文中提供了使用HyperPod推理操作符的具体配置步骤和性能对比数据。该方法适用于需要低延迟响应的LLM推理场景。

技巧 SageMaker HyperPod vLLM DPD

推荐理由：AWS教你用vLLM在SageMaker HyperPod上把LLM推理分成两段跑，延迟更低，实操步骤写得挺清楚。

01:03

01:03

官方一手AWS Machine Learning Blog@Vinay Arora

精选

亚马逊为 SageMaker HyperPod 推理新增五项企业级功能。多层级数据捕获支持审计和模型改进，可直接从 Hugging Face Hub 部署模型。本地 NVMe 模型加载减少冷启动时间，自动 Route 53 DNS 简化自定义域名配置。pod 级 IAM 通过自定义服务账户实现细粒度权限控制。

AI产品 SageMaker HyperPod Hugging Face Route 53

推荐理由：AWS 把 SageMaker HyperPod 的推理能力补全了，能抓数据做审计、直接从 Hugging Face 拉模型、用 NVMe 加速启动，还有自定义域名和细粒度权限，搞企业部署可以看看。