Shopify 高级工程师将在 PyTorch Conf 北美站分享 vLLM 推理实践
精选理由
Shopify 的工程师要讲他们怎么用 vLLM 做模型评估和修复，还压低了成本和延迟，做推理的同学可以听听。
Shopify 的 Senior Staff ML Engineer Chris Mazza Anthony 将在 PyTorch Conference 北美站做主题演讲。演讲内容围绕 Shopify 如何使用 PyTorch 和 vLLM 对模型进行持续评估、修复和改进。该环节还会介绍降低推理成本与延迟的具体做法。大会定于 10 月 20-21 日在圣何塞举行。
原文 · PyTorch
🎤 Meet @cmazzaanthony, Senior Staff ML Engineer at @Shopify and a #PyTorchCon North America keynote speaker.
See how Shopify uses PyTorch and vLLM to continually evaluate, repair, and improve models while cutting cost and latency.
📅 October 20-21 📍 San Jose
Register: https://t.co/1z0jDhdUZm