#CPU推理

共 2 条 · 7 天 0 条 · 30 天 1 条

Daedalus-150M 1 Hugging Face 1 llama.cpp 1 Transformers 1 卷积-注意力混合模型 1 基准测试 1 模型训练 1 量化模型 1

信息流里打上「CPU推理」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月22日

产品官方一手21:32

Transformers支持llama.cpp量化模型

Hugging Face让Transformers支持llama.cpp量化，现在CPU也能跑大模型了

#Transformers #llama.cpp #Hugging Face #量化模型

官方一手Hugging Face: Blog3 个信源在谈原文

8月21日

Daedalus-150M：专为CPU推理设计的卷积-注意力混合模型

Daedalus-150M模型在CPU上实现了高效推理，与同类全注意力模型相比，在速度上具有显著优势，同时保持了相似的质量指标，值得一试。

#Daedalus-150M #卷积-注意力混合模型 #CPU推理 #模型训练

arXiv cs.AI@Christos Koutsiaris原文