模型多源确认

NVIDIA 发布 Nemotron 3.5 Bolt 24GB,可跑进 24GB 显存

精选理由

NVIDIA 放了个 74B 总参数但只激活 9B 的模型,24GB 显存就能跑本地智能体,RTX Spark 用户可以直接上手试。

NVIDIA 推出 Nemotron 3.5 Bolt 24GB,采用 74B 总参数、激活 9B(74B-A9B)的稀疏架构,整模型压进 24GB 显存。该模型针对 RTX Spark 平台优化,可在本地与日常应用并行运行智能体任务。官方定位是在单卡消费级/工作站显存内实现本地推理的智能体能力。

原文 · NVIDIA AI

And this one fits into 24GB of memory. Introducing Nemotron 3.5 Bolt 24GB ⚡️ NVIDIA RTX Spark @NVIDIARTXSpark NVIDIA Nemotron 3.5 Bolt 24GB puts powerful local agents within reach. ⚡ 74B-A9B parameters packed into 24GB of memory, balancing intelligence and speed while running alongside your apps. Optimized for RTX Spark and ready for your next project. 🔗 View Quoted Tweet 💬 11 🔄 17 ❤️ 173 👀 5092 📊 24 ⚡