精选理由
Together AI 把底层优化玩出花，ATLAS 加上 NVIDIA Blackwell 和一套 CUDA/TensorRT 工具，推理速度能快不少。搞部署的可以看看这套方案。
Together AI 展示了 ATLAS 系统与 NVIDIA Blackwell、CUDA、TensorRT-LLM、Dynamo 以及自定义内核的协同优化。这套组合拳从 API 底层加速推理过程，降低用户端延迟。项目由 @realDanFu 及其团队主导，旨在提升大规模模型部署的推理效率。
原文 · Together AI
This is what latency optimization looks like below…
This is what latency optimization looks like below the API 👇
Together ATLAS, NVIDIA Blackwell, CUDA, TensorRT-LLM, Dynamo, and custom kernels all working together to make inference faster for users.
Proud of @realDanFu and our team!