#Ray Serve

共 2 条 · 7 天 0 条 · 30 天 1 条

AWS 1 GPU推理 1 TorchServe 1 深度学习容器 1

信息流里打上「Ray Serve」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月9日

产品 Agent 与开发者官方一手23:57

AWS推出Ray Serve深度学习容器支持TorchServe

AWS新容器帮你搞定TorchServe遗留问题，预装好所有组件，直接部署视觉语言模型。

#TorchServe #Ray Serve #AWS #深度学习容器

官方一手AWS Machine Learning Blog@Ananth Raghavendra原文

6月16日

技巧 Agent 与开发者精选20:16

Anyscale团队详解PD Disaggregation with Ray Serve + vLLM在AMD MI325X上测试

vLLM推荐了Anyscale的这篇实战文章，讲清楚了PD Disagg在Ray Serve加vLLM上的做法，还在AMD MI325X上测过，值得搞推理部署的人看看。

#vLLM #Ray Serve #Anyscale #AMD MI325X

官方账号vLLM@vllm_project原文