产品官方一手
第四范式与瑞莱智慧开源 ModelSphere 异构大模型推理平台
4Paradigm and RiseUnion Open-Source ModelSphere for Heterogeneous LLM Serving
精选理由
第四范式和瑞莱智慧把自家的 LLM 推理平台按 Apache 2.0 开源了，一套框架能跑昇腾、摩尔线程、海光这些国产芯片，做推理部署的可以看看。
第四范式（4Paradigm）与瑞莱智慧（RiseUnion）以 Apache 2.0 协议开源了 ModelSphere。该平台把集群化推理服务、KV 缓存和 AutoTune 自动调优整合在同一套框架里。官方宣称支持昇腾（Ascend）、天数智芯（Iluvatar）、摩尔线程（Moore Threads）和海光 DCU 等多种国产异构算力。
原文 · pandaily
4Paradigm and RiseUnion Open-Source ModelSphere for Heterogeneous LLM Serving
ModelSphere unifies cluster serving, KV caching and AutoTune under Apache 2.0, with claimed support for Ascend, Iluvatar, Moore Threads and Hygon DCU.
