#延迟优化

共 9 条 · 7 天 0 条 · 30 天 2 条

Amazon SageMaker 1 DeepSeek 1 Jev 1 LLM 1 Qwen 1 前缀感知路由 1 边缘计算 1

信息流里打上「延迟优化」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月22日

论文 Agent 与开发者11:32

用 Jev 决策模型替代大语言模型做边缘服务编排，延迟降15.9%-26.5%

有人拿 Jev 决策模型替掉 DeepSeek 和 Qwen 跑边缘编排，延迟最多降26.5%，API 费用省近七成。

#Jev #DeepSeek #Qwen #边缘计算

arXiv: DeepSeek@Delong Li 等 5 人原文

9月11日

产品 Agent 与开发者官方一手06:22

亚马逊推出前缀感知路由减少 SageMaker 中的 LLM 延迟

亚马逊这个新功能能帮你更快地得到 LLM 的回答，特别是处理大量相似问题的时候，比之前的方法效率高很多。

#Amazon SageMaker #LLM #前缀感知路由 #延迟优化

官方一手AWS Machine Learning Blog@Kareem Syed-Mohammed原文

7月7日

产品官方一手精选08:36

OpenAI Realtime voice 模型 p95 延迟降低至少 25%

OpenAI 给 Realtime 语音模型做了缓存优化，延迟降了至少四分之一，用起来更流畅。

#OpenAI #Realtime voice #延迟优化 #缓存改进

事件专题

官方一手@OpenAIDevs@OpenAIDevs11 个信源在谈原文

6月13日

技巧 Agent 与开发者精选13:13

部署语音智能体时延迟超500ms用户挂断，Together AI详解优化

语音智能体延迟优化实战

#语音智能体 #延迟优化 #Together AI #网络延迟

官方账号Together AI@togethercompute原文

6月4日

论文精选76°11:02

StreamMA：流式通信加速多智能体推理，效果也更好

做多智能体系统或推理管线的开发者，StreamMA 用流式通信同时解决了延迟和效果问题，值得直接参考实现思路。

#多智能体 #推理系统 #流式通信 #延迟优化

arXiv cs.AI@Zhen Yang 等 6 人原文

6月3日

行业23:48

Qualcomm 谈边缘端 GenAI：延迟不是可管理的权衡，而是用户体验

做边缘 AI 或端侧推理的开发者，这场分享点出了延迟对用户体验的直接影响，值得关注 Qualcomm 的实战经验。

#边缘计算 #GenAI #Qualcomm #延迟优化

Qdrant@qdrant_engine原文

5月28日

模型中美对照官方一手精选72°17:17

Perplexity AI 开源 Unigram 分词器，p50 延迟比 Hugging Face 低 5 倍

做搜索或 RAG 系统的团队终于有了更快的分词方案——Perplexity 开源的这个 Unigram 分词器直接降低 5 倍延迟和 6 倍 CPU 消耗，建议有高吞吐需求的开发者立刻试一下。

#分词器 #开源/仓库 #Perplexity AI #延迟优化

官方一手marktechpost@Asif Razzaq原文

5月22日

行业多源确认02:11

Token价值论：智能密度与速度的权衡

做AI产品定价和优化的团队，这篇能帮你重新理解token的「价值」——不是算力便宜就划算，用户等不起的token再便宜也是浪费。建议结合自己的场景算算账。

#token经济 #AI产品设计 #延迟优化 #推理效率

事件专题

rohanpaul_ai@rohanpaul_ai4 个信源在谈原文

5月21日

论文多源确认76°11:07

Agent JIT 编译：将网页操作延迟降低 10 倍

网页自动化开发者终于有了降低延迟的实用方案——Agent JIT 编译直接解决了顺序执行的高延迟痛点，做 RPA 或浏览器智能体的团队值得一试。

#智能体 #网页自动化 #JIT编译 #延迟优化

事件专题

arXiv cs.AI@Caleb Winston 等 4 人11 个信源在谈原文