精选理由
HuggingFace 和 ZML AI 搞了个新推理引擎，集成在 HuggingFace 上，专为开源模型提速降本，可以直接用。
HuggingFace CEO Clement Delangue 表示开源模型推理在速度、质量和成本上还有巨大提升空间。ZML AI 公司由 Steeve 创立，其推理引擎已与 HuggingFace 作为存储层集成。该引擎旨在让开源模型的推理变得更高效、更便宜。
AI 翻译 · 中文
HuggingFace CEO Clement Delangue 表示开源模型推理在速度、质量和成本上还有巨大提升空间。ZML AI 公司由 Steeve 创立，其推理引擎已与 HuggingFace 作为存储层集成。该引擎旨在让开源模型的推理变得更高效、更便宜。
We're still just scratching the surface of how much better, faster, cheaper we can make inference for open-source models! So super excited to see companies like @zml_ai by @steeve come out of stealth with their infer…