04:25
AWS Machine Learning Blog@Mona Mona
推荐理由：AWS给SageMaker AI加了容器缓存，扩展时延迟直接减半，适合需要快速响应的生成式AI部署。
全部 AI 动态
AI 相关资讯全量信息流
6月17日
04:25
Amazon SageMaker AI 发布容器镜像缓存功能，针对推理场景优化扩展速度。该功能在模型扩缩容时可将端到端延迟最高提升2倍。它专为生成式AI模型设计，减少冷启动时间。现已可在AWS区域使用。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
6月8日
10:33
10:33
arXiv cs.LG@Rohan Shravan
精选72°
推荐理由：这篇论文解决了大模型训练资源门槛高的问题——单节点8卡就能训120B模型，做MoE和模型扩展的团队可以直接参考其状态保持原则和TQP策略，省下大量硬件成本。