SageMaker 相关 AI 资讯 · AI 热点

8月25日

03:48

03:48

官方一手AWS Machine Learning Blog@Nilesh PS

精选

Amazon SageMaker HyperPod支持在Amazon EKS上管理Ray，可创建和监控Ray集群，连接JupyterLab和代码编辑器笔记本，提供开箱即用的可观察性，并从SageMaker Studio运行弹性分布式训练和加速推理，使用开源KubeRay和标准Ray API。

AI产品 SageMaker Ray Amazon EKS

推荐理由：SageMaker HyperPod新增Ray支持，让分布式训练和加速推理更简单，值得一试。

6月19日

07:41

07:41

官方一手AWS Machine Learning Blog@Apoorva Chandra

精选

Amazon SageMaker AI 提供全托管实时推理，支持单模型端点（SME）和推理组件（IC）两种架构。通过 CloudWatch 详细指标和 Insights 仪表盘，用户可监控生成式 AI 推理的延迟、吞吐量等关键指标。该仪表盘支持自定义视图和异常检测，帮助快速定位性能瓶颈。SME 和 IC 端点均能集成此观测能力，适用于生产环境的调试与优化。

技巧 SageMaker CloudWatch 生成式 AI

推荐理由：AWS 教你用 CloudWatch 盯着 SageMaker 上的生成式 AI 推理，有详细指标和仪表盘，调性能抓问题都好使。

6月18日

05:03

05:03

官方一手AWS Machine Learning Blog@Dan Ferguson

AWS 宣布 Amazon SageMaker AI 异步推理（Async Inference）现支持在 InvokeEndpointAsync API 的请求体中直接发送推理负载（inline payload），无需预先上传至 S3。这一功能简化了工作流，减少了与 S3 的交互步骤，并降低了延迟。用户可在请求正文中放入不超过 2MB 的数据，适用于轻量级推理场景。

AI产品 SageMaker 异步推理 inline payload

推荐理由：AWS SageMaker 异步推理现在可以直接在请求里传数据，不用先传 S3 了，省一步操作。