Industry

本地AI爆发:GGUF模型数量倍增

Why we picked it

GGUF模型数量的快速增长反映了本地AI部署的实际需求和技术成熟度的提升。对于开发者和企业,这意味着更丰富的开源模型选择和更便捷的本地推理实践,推动AI应用向边缘设备转移。

Hugging Face联合创始人Clement Delangue透露,Hugging Face上公开GGUF模型总数已达17.

Body

6万个。2024年10月至2月,月均新增约5100个GGUF模型;

3月至4月跃升至约9200个/月,近乎翻倍。3月成为转折点(环比增长55%),4月维持9700个的高位,表明增长并非暂时现象。

这一趋势得益于llama.cpp工具改进、自动化量化流程以及更多模型原生支持GGUF,社区量化模型速度创历史新高。

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Industry" desk. Key entities and technical topics under continuous tracking include 开源/仓库, 模型量化, GGUF, Hugging Face.

Source attribution: curated from Clement Delangue (@ClementDelangue).