AITOPAI热报

#Hibana

1 stories · 1 in 7 days · 1 in 30 days
DGX Spark 1llama.cpp 1vLLM 1推理优化 1
Stories, products and papers tagged "Hibana", newest first.
Nov 10
ModelsBuildersMulti-source10:58
Chinese contentHibana：面向统一内存设备的本地智能体推理引擎

想在本地跑大模型智能体的开发者可以看这篇。它专门针对 DGX Spark 这类统一内存设备优化，跑 125B 的 Qwen、Nemotron 比 vLLM、llama.cpp 快 3 到 4 倍，还能保存智能体状态随时恢复，代码也开源了。

#Hibana#vLLM#llama.cpp#DGX Spark
Event
arXiv cs.AI@Yahya Emara et al. (8)11 sourcesSource