Primary sourcepandaily
View sourceEvent ·Official first-hand
BAAI 与清程极智合作推出基于 FlagOS 的端到端推理优化方案
BAAI(北京智源人工智能研究院)与清程极智(Qingmao Intelligence)宣布将 FlagOS 扩展至商用推理场景,推出端到端推理优化解决方案。双方称方案在内核(kernel)层面、服务延迟(serving-latency)以及前缀缓存(prefix-cache)三方面都带来了改进。 FlagOS 定位为面向 AI 推理的开源系统软件栈,此番与 Qingmao Intelligence 的合作意味着它从系统软件延伸到商业化推理部署环节。优化覆盖了从底层算子到服务层延迟和缓存策略的多个层级,属于推理基础设施方向的软硬件协同工作。 对需要自建或托管推理服务的企业来说,内核优化、服务延迟与前缀缓存分别对应计算效率、响应速度和重复上下文场景的成本节省。推理优化赛道上 SGLang、vLLM 等方案竞争激烈,国内系统层方案的合作走向值得关注。
Current read
智源和清程极智把 FlagOS 推向商用推理了,从内核、服务延迟到前缀缓存都在做优化。如果团队在自建推理服务,这套覆盖多层级的方案可以对比 vLLM、SGLang 看看差异在哪。
2 sources41° AI heatLast updated 2026/11/19 01:57:24
Evidence
2 sourcesRelated source 1智源研究院 BAAI
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.