Transformers now runs llama.cpp quants
Hugging Face让Transformers支持llama.cpp量化，现在CPU也能跑大模型了
Hugging Face Transformers库现已支持llama.cpp量化模型。该集成允许用户在CPU上高效运行大型语言模型。通过量化技术，模型内存占用显著降低，推理速度提升。这一功能扩展了Transformers库的本地部署能力。
Hugging Face 把 Transformers 模型直接跑进 vLLM，性能不输手写，以后搞推理不用重复造轮子了。
vLLM和Hugging Face搞了个大活：Transformers v0.25.0直接兼容vLLM，450多个模型自动加速，不用自己写适配代码了，开箱即用！
做文档智能或 RAG 的团队终于不用在 OCR 和 Transformer 之间搭桥了，PaddleOCR 3.5 直接跑在 Hugging Face 上，省掉一堆服务栈，建议做 Document AI 的开发者点开试试。
PaddleOCR 拥抱 Transformers 生态，做文档解析和 OCR 的团队可以更灵活地选模型，不用被框架绑死，值得升级试试。
