11:16
官方账号Together AI@togethercompute
官方账号Together AI@togethercompute精选
推荐理由：Together AI 把底层优化玩出花，ATLAS 加上 NVIDIA Blackwell 和一套 CUDA/TensorRT 工具，推理速度能快不少。搞部署的可以看看这套方案。
TensorRT-LLM
共 1 条相关 AI 资讯
7月13日
11:16
Together AI 展示了 ATLAS 系统与 NVIDIA Blackwell、CUDA、TensorRT-LLM、Dynamo 以及自定义内核的协同优化。这套组合拳从 API 底层加速推理过程，降低用户端延迟。项目由 @realDanFu 及其团队主导，旨在提升大规模模型部署的推理效率。