00:20DeepLearning.AI@DeepLearningAIDeepLearning.AI 与 RedHat 合作推出免费短课程《Fast & Efficient LLM Inference with vLLM》,由 Cedric Clyburn 授课。课程涵盖开源 LLM 量化、使用 vLLM 部署模型,以及从速度、成本和准确率三个维度进行基准测试。学员可免费注册学习,适合希望提升 LLM 推理效率的开发者。AI产品vLLMLLM推理模型量化RedHat课程推荐理由:vLLM 是目前最主流的 LLM 推理框架之一,这门课直接教你量化、部署和基准测试,做模型部署或推理优化的工程师值得花时间学。原文
22:16Clement Delangue@ClementDelangueHugging Face联合创始人Clement Delangue透露,Hugging Face上公开GGUF模型总数已达17.6万个。2024年10月至2月,月均新增约5100个GGUF模型;3月至4月跃升至约9200个/月,近乎翻倍。3月成为转折点(环比增长55%),4月维持9700个的高位,表明增长并非暂时现象。这一趋势得益于llama.cpp工具改进、自动化量化流程以及更多模型原生支持GGUF,社区量化模型速度创历史新高。行业开源/仓库模型量化GGUFHugging Face本地AI推荐理由:GGUF模型数量的快速增长反映了本地AI部署的实际需求和技术成熟度的提升。对于开发者和企业,这意味着更丰富的开源模型选择和更便捷的本地推理实践,推动AI应用向边缘设备转移。原文