Chinese contentCactus Whistle 对比 Whisper Base：16.9 MB 语音模型在 CPU 上的实测教程
教你怎么在 CPU 上跑 Cactus Whistle 这个 16.9 MB 的语音识别小模型，还把它和 Whisper base 比了词错率和速度，想做端侧语音的可以直接抄代码。
#CPU inference
4 stories · 0 in 7 days · 1 in 30 days
Stories, products and papers tagged "CPU inference", newest first.
Oct 22
Oct 13
Chinese content微软开源 BitNet 推理框架：让 CPU 跑 1.58-bit 大模型
微软把 1.58-bit 量化模型做到 CPU 能跑，EPYC 16 线程跑到 461 token/s，没显卡也想本地跑模型的话可以看看这套开源框架。
Sep 22
Aug 21
Models11:05
Chinese contentDaedalus-150M：专为CPU推理设计的卷积-注意力混合模型Daedalus-150M模型在CPU上实现了高效推理，与同类全注意力模型相比，在速度上具有显著优势，同时保持了相似的质量指标，值得一试。