Xoople 用 Ray on Anyscale 处理 PB 级全球卫星影像
卫星影像公司 Xoople 处理整颗行星的 PB 级数据,他们没自建计算层,直接用 Anyscale 上的 Ray,讲了选型原因。
卫星影像公司 Xoople 处理整颗行星的 PB 级数据,他们没自建计算层,直接用 Anyscale 上的 Ray,讲了选型原因。
用 Ray 做训练推理的团队可以看看,Anyscale 登陆 Azure 了,数据模型都留在自己租户里,还能直接走 Azure 账单付费。
Anyscale 和 Google Cloud 联手让 vLLM 推理快了好几倍,预填负载快 4.4 倍,解码负载快 24 倍,用 Ray V2 执行器就能体验。
vLLM推荐了Anyscale的这篇实战文章,讲清楚了PD Disagg在Ray Serve加vLLM上的做法,还在AMD MI325X上测过,值得搞推理部署的人看看。