04:25AWS Machine Learning Blog@Mona MonaAmazon SageMaker AI 发布容器镜像缓存功能,针对推理场景优化扩展速度。该功能在模型扩缩容时可将端到端延迟最高提升2倍。它专为生成式AI模型设计,减少冷启动时间。现已可在AWS区域使用。AI产品SageMaker AI容器缓存模型扩展AWS推理优化推荐理由:AWS给SageMaker AI加了容器缓存,扩展时延迟直接减半,适合需要快速响应的生成式AI部署。原文