AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

TensorRT

共 2 条相关 AI 资讯
8月19日
01:34
01:34官方账号NVIDIA AI@NVIDIAAI
精选78°
NVIDIA 发布了 TensorRT Model Connect 公测版。用户只需两个命令即可将 Hugging Face 模型转换为 TensorRT 推理格式。该工具无需中间 ONNX 导出,生成的包支持原生 C++ API。整个项目由 OpenAI Codex agents 构建,人类负责指导和审查工作。
AI产品NVIDIATensorRTHugging Face
事件专题

推荐理由:NVIDIA 发了个工具,两行命令把 Hugging Face 模型转 TensorRT,省去 ONNX 导出步骤。
原文
5月30日
04:17
04:17官方账号Together AI@togethercompute
72°
Together AI 推出了目前最快的两个语音转文字(STT)模型,其中 NVIDIA Parakeet-TDT 0.6B v3 能在 10 秒内转录 20 小时的语音。该模型基于 TensorRT 优化、条件 CUDA 图、事件驱动 I/O 和共享内存等技术实现极致性能。这一进展大幅降低了大规模语音转录的延迟和成本,对需要实时或批量处理语音的团队意义重大。Together AI 通过系统级优化展示了 STT 模型在推理速度上的新标杆。
AI产品语音转文字NVIDIA Parakeet-TDTTogether AI
事件专题

推荐理由:语音转录速度提升了一个数量级,做实时语音应用或大规模音频处理的团队可以直接用上,省下不少时间和算力成本。
原文
精选全部日报登录