AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：流式处理×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月1日
10:54
10:54arXiv: OpenAI@Shenghu Jiang, Ruihao Gong
精选
研究人员提出了一种增量BPE分词算法，能够在流式场景中高效处理输入文本。该算法在最坏情况下每个字节的处理时间为O(log² t)，总体复杂度为O(n log² t)，其中n为输入长度，t为最大token长度。相比Hugging Face的tokenizers，该算法实现了约3倍的速度提升，并在病态输入上显著降低了延迟。此外，算法还支持流式输出，能在确定token边界后立即输出结果。这项研究为大型语言模型管道中的分词环节提供了实用的延迟优化。
论文BPE分词增量算法流式处理LLM管道开源/仓库
推荐理由：BPE分词是LLM推理的常见瓶颈，这个增量算法让流式场景提速3倍，做模型部署或实时推理的团队可以直接替换现有方案，值得一试。
原文
5月20日
11:19
11:19arXiv cs.LG@Jintao Li, Weichang Li, Kai Tong, Xaingyu Guo
精选
FiLark 是一个专为分布式声学传感（DAS）设计的 Python 框架，采用“流式优先”原则统一处理数据访问、信号处理、可视化和监控。它解决了传统批处理框架无法高效处理连续、超高通道数据流的问题，支持交互式浏览任意长录音、在数据流中直接标注事件，并集成 CPU/GPU 加速的信号处理库。该框架通过统一的流抽象，使交互式开发的处理配置可直接迁移到生产流水线，无需修改。
论文分布式声学传感流式处理Python框架信号处理可视化
推荐理由：DAS 领域的研究者和工程师终于有了一个能处理连续数据流的工具，不用再手动切片段做离线分析了。做地震监测、管道检测或声学事件标注的团队，可以直接用 FiLark 搭建从探索到部署的完整工作流。
原文
5月15日
10:02
10:02arXiv cs.AI@Titouan Parcollet, Shucong Zhang, Xianrui Zheng, Rogier C. van Dalen
精选
传统语音翻译系统依赖语音识别和文本翻译两个独立模块，容易产生级联错误。本文提出一种基于LLM的流式语音翻译架构，让模型不仅能输出翻译结果，还能自主判断是否已听到足够音频来输出。该系统通过输入语音与输出文本的自动对齐进行训练，在多个语言对上的翻译质量接近非流式基线，但延迟仅为1-2秒。这项研究解决了现有SpeechLLM系统无法实时流式输出的痛点，使语音翻译更适用于实时应用场景。
论文语音翻译流式处理SpeechLLM低延迟实时系统
推荐理由：做实时语音翻译的团队终于有了低延迟方案——延迟降到1-2秒且翻译质量不降，做会议同传或语音助手的开发者可以直接参考。
原文