AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:NVIDIA Dynamo×
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月13日
13:11
13:11LMSYS Org (SGLang)@lmsysorg
精选73°
SGLang在NVIDIA GB300 NVL72平台上,针对DeepSeek V4 Pro 1.6T模型(FP4精度,8K/1K上下文)实现了每GPU超过12K tok/s的推理速度。该性能由NVIDIA Dynamo(SGLang)和MTP技术协同实现。根据SemiAnalysis InferenceX基准测试,该性能在整个交互性曲线上保持稳定。
AI模型SGLangGB300 NVL72DeepSeek V4 ProNVIDIA Dynamo推理模型

推荐理由:SGLang在GB300上跑DeepSeek V4 Pro,每GPU超1.2万token
原文
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
6月11日
20:45
20:45NVIDIA AI@NVIDIAAI
NVIDIA 宣布与 Gcore 和 Orange Business 合作,基于 NVIDIA Dynamo 平台实现大规模分布式 AI 推理。该方案旨在解决高并发推理场景下的延迟和成本问题,通过分布式架构优化 GPU 利用率。合作方将共同为企业客户提供可扩展的推理基础设施,支持大模型在生产环境中的高效部署。此举标志着 NVIDIA 在 AI 推理领域从硬件向平台化生态的进一步延伸。
AI产品NVIDIA Dynamo分布式推理GcoreOrange BusinessAI 基础设施

推荐理由:分布式推理是当前大模型落地的关键瓶颈,NVIDIA 联合云服务商推出规模化方案,做 AI 部署和 MLOps 的团队值得关注,尤其是需要处理高并发推理的企业。
原文
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
5月11日
22:18
22:18NVIDIA AI@NVIDIAAI
70°
NVIDIA AI在X上发布推文,总结了大多数Agent系统面临的核心问题:推理与工具解析在多轮交互中漂移、KV缓存复用失效、工具触发延迟。为此,NVIDIA正通过强化Dynamo框架,使其更好支持Claude Code、OpenClaw、Codex等Agent模式。关键改进包括:稳定提示词以支持KV复用并降低首个Token生成时间(TTFT)、保留多轮推理与工具调用的交错模式、实现流式工具分发而非回合末缓冲、以及对齐真实多轮Agent运行时的行为。这篇博客详细介绍了这些基础设施问题和修复模式,对于正在构建自定义Agent栈或推理端点的开发者有直接参考价值。
AI产品Agent推理模型工具调用低延迟NVIDIA Dynamo

推荐理由:推文直指当前Agent系统在基础设施层面的共性痛点,NVIDIA给出的优化路径对降低延迟、保持上下文一致性及提升工具调用实时性有实际意义。
原文
精选全部日报登录