13:11LMSYS Org (SGLang)@lmsysorg精选73°SGLang在NVIDIA GB300 NVL72平台上,针对DeepSeek V4 Pro 1.6T模型(FP4精度,8K/1K上下文)实现了每GPU超过12K tok/s的推理速度。该性能由NVIDIA Dynamo(SGLang)和MTP技术协同实现。根据SemiAnalysis InferenceX基准测试,该性能在整个交互性曲线上保持稳定。AI模型SGLangGB300 NVL72DeepSeek V4 ProNVIDIA Dynamo推理模型10 个信源在谈推荐理由:SGLang在GB300上跑DeepSeek V4 Pro,每GPU超1.2万token原文
20:45NVIDIA AI@NVIDIAAINVIDIA 宣布与 Gcore 和 Orange Business 合作,基于 NVIDIA Dynamo 平台实现大规模分布式 AI 推理。该方案旨在解决高并发推理场景下的延迟和成本问题,通过分布式架构优化 GPU 利用率。合作方将共同为企业客户提供可扩展的推理基础设施,支持大模型在生产环境中的高效部署。此举标志着 NVIDIA 在 AI 推理领域从硬件向平台化生态的进一步延伸。AI产品NVIDIA Dynamo分布式推理GcoreOrange BusinessAI 基础设施9 个信源在谈推荐理由:分布式推理是当前大模型落地的关键瓶颈,NVIDIA 联合云服务商推出规模化方案,做 AI 部署和 MLOps 的团队值得关注,尤其是需要处理高并发推理的企业。原文
22:18NVIDIA AI@NVIDIAAI70°NVIDIA AI在X上发布推文,总结了大多数Agent系统面临的核心问题:推理与工具解析在多轮交互中漂移、KV缓存复用失效、工具触发延迟。为此,NVIDIA正通过强化Dynamo框架,使其更好支持Claude Code、OpenClaw、Codex等Agent模式。关键改进包括:稳定提示词以支持KV复用并降低首个Token生成时间(TTFT)、保留多轮推理与工具调用的交错模式、实现流式工具分发而非回合末缓冲、以及对齐真实多轮Agent运行时的行为。这篇博客详细介绍了这些基础设施问题和修复模式,对于正在构建自定义Agent栈或推理端点的开发者有直接参考价值。AI产品Agent推理模型工具调用低延迟NVIDIA Dynamo推荐理由:推文直指当前Agent系统在基础设施层面的共性痛点,NVIDIA给出的优化路径对降低延迟、保持上下文一致性及提升工具调用实时性有实际意义。原文