精选理由
英伟达的新开源模型，30B MoE 但只跑 3B 活跃参数，放在 SageMaker 上直接部署，专为智能体高频调用设计，吞吐量翻 4 倍，适合跑大批量任务的人。
NVIDIA Nemotron 3.5 Lightning 已可在 Amazon SageMaker JumpStart 中部署。这是一款面向高并发智能体工作负载的开源模型，采用 30B 参数的 MoE 架构，其中活跃参数为 3B。该模型可提供最高 4 倍的吞吐量提升，以及最高 30% 更快的任务完成速度。开发者可通过 SageMaker JumpStart 一键启动部署。
原文 · AWS Machine Learning Blog
NVIDIA Nemotron 3.5 Lightning now available in Amazon SageMaker JumpStart
NVIDIA Nemotron 3.5 Lightning, an open model built for high-volume agentic workloads, is now available in Amazon SageMaker JumpStart. This post shows how to deploy the 30B Mixture-of-Experts model (3B active), which delivers up to 4x higher throughput and up to 30% faster task completion for always-on agents.
- andrew chen08-16 06:45原文