FlashRT 智能体框架实现实时多模态应用高效部署

FlashRT 是一个引导编码智能体优化实时多模态应用部署的框架，将简单参考实现转化为多 GPU 部署。在 NVIDIA B200 GPU 上，FlashRT 将视频世界模型和多模态 LLM 的延迟降低达 70 倍，吞吐量提升 2.8 倍。在 AMD MI355X GPU 上，延迟降低持平，吞吐量提升达 3.6 倍。针对 Qwen3-Omni 文本到音频推理，FlashRT 在 AMD MI355X 上比专家 vLLM-Omni 实现减少 65% 响应延迟。