精选理由
做模型服务系统或推理优化的团队，FMplex 的虚拟化思路能直接帮你省显存、降延迟，建议研究其调度和共享机制。
现有大模型服务系统将每个定制任务部署为独立模型实例，导致骨干模型重复部署、加速器内存浪费，且无法分摊批处理和加载成本。FMplex 提出一种新范式，将大模型骨干视为虚拟化基础，为每个任务提供逻辑上私有的虚拟大模型（vFM），实际共享同一物理骨干。该方案支持任务独立扩展、生命周期和隔离性，并设计了批感知公平队列调度器，实现任务间和任务内的批处理。在 7 个骨干模型（16 个变体）和 92 个下游任务上，FMplex 相比空间分区降低延迟 80%，相比尽力共置降低 33.3%，集群规模下可承载多达 6 倍的任务数。
AI 翻译 · 中文
现有大模型服务系统将每个定制任务部署为独立模型实例，导致骨干模型重复部署、加速器内存浪费，且无法分摊批处理和加载成本。FMplex 提出一种新范式，将大模型骨干视为虚拟化基础，为每个任务提供逻辑上私有的虚拟大模型（vFM），实际共享同一物理骨干。该方案支持任务独立扩展、生命周期和隔离性，并设计了批感知公平队列调度器，实现任务间和任务内的批处理。在 7 个骨干模型（16 个变体）和 92 个下游任务上，FMplex 相比空间分区降低延迟 80%，相比尽力共置降低 33.3%，集群规模下可承载多达 6 倍的任务数。
Foundation models (FMs) are increasingly used as backbones for downstream tasks across language, vision, time-series, and multimodal applications. Yet existing model-serving systems deploy each customized task as an inde…