AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:低延迟×
5月15日
10:02
arXiv cs.AI@Titouan Parcollet, Shucong Zhang, Xianrui Zheng, Rogier C. van Dalen
精选58
传统语音翻译系统依赖语音识别和文本翻译两个独立模块,容易产生级联错误。本文提出一种基于LLM的流式语音翻译架构,让模型不仅能输出翻译结果,还能自主判断是否已听到足够音频来输出。该系统通过输入语音与输出文本的自动对齐进行训练,在多个语言对上的翻译质量接近非流式基线,但延迟仅为1-2秒。这项研究解决了现有SpeechLLM系统无法实时流式输出的痛点,使语音翻译更适用于实时应用场景。
论文语音翻译流式处理SpeechLLM低延迟实时系统

推荐理由:做实时语音翻译的团队终于有了低延迟方案——延迟降到1-2秒且翻译质量不降,做会议同传或语音助手的开发者可以直接参考。
5月11日
22:18
NVIDIA AI@NVIDIAAI
70
NVIDIA AI在X上发布推文,总结了大多数Agent系统面临的核心问题:推理与工具解析在多轮交互中漂移、KV缓存复用失效、工具触发延迟。为此,NVIDIA正通过强化Dynamo框架,使其更好支持Claude Code、OpenClaw、Codex等Agent模式。关键改进包括:稳定提示词以支持KV复用并降低首个Token生成时间(TTFT)、保留多轮推理与工具调用的交错模式、实现流式工具分发而非回合末缓冲、以及对齐真实多轮Agent运行时的行为。这篇博客详细介绍了这些基础设施问题和修复模式,对于正在构建自定义Agent栈或推理端点的开发者有直接参考价值。
AI产品Agent推理模型工具调用低延迟NVIDIA Dynamo

推荐理由:推文直指当前Agent系统在基础设施层面的共性痛点,NVIDIA给出的优化路径对降低延迟、保持上下文一致性及提升工具调用实时性有实际意义。