Liquid AI 发布 RIPL 推理引擎,LFM 延迟降至 50 ms 以下
Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs
Liquid AI 推出 RIPL 推理引擎,官方称 LFM2.5-1.2B 的 p95 延迟比 vLLM 跑 Qwen3.5-0.8B 快十倍以上,适合做低延迟应用。
Liquid AI 发布了 RIPL 实时推理引擎,用于运行其 LFM 系列模型。官方测试显示,在一块 B200 GPU 上,LFM2.5-1.2B 经 RIPL 运行时,p95 延迟比 vLLM 上的 Qwen3.5-0.8B 低 14.4 到 28.4 倍。RIPL 的目标是让 LFM 模型实现 50 毫秒以下的实时响应,适合语音交互等低延迟场景。
Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs
Liquid AI released RIPL, a real-time inference engine for its LFM models. On one B200, LFM2.5-1.2B on RIPL showed 14.4 to 28.4x lower p95 latency than Qwen3.5-0.8B on vLLM. The post Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs appeared first on MarkTechPost .