精选理由
vLLM 是目前最主流的 LLM 推理框架之一,这门课直接教你量化、部署和基准测试,做模型部署或推理优化的工程师值得花时间学。
DeepLearning.AI 与 RedHat 合作推出免费短课程《Fast & Efficient LLM Inference with vLLM》,由 Cedric Clyburn 授课。课程涵盖开源 LLM 量化、使用 vLLM 部署模型,以及从速度、成本和准确率三个维度进行基准测试。学员可免费注册学习,适合希望提升 LLM 推理效率的开发者。
AI 翻译 · 中文
DeepLearning.AI 与 RedHat 合作推出免费短课程《Fast & Efficient LLM Inference with vLLM》,由 Cedric Clyburn 授课。课程涵盖开源 LLM 量化、使用 vLLM 部署模型,以及从速度、成本和准确率三个维度进行基准测试。学员可免费注册学习,适合希望提升 LLM 推理效率的开发者。
New short course: Fast & Efficient LLM Inference with vLLM, built in partnership with @RedHat and taught by @cedricclyburn . Learn to quantize an open-source LLM, serve it with vLLM, and benchmark your deployment acr…