AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：Perplexity AI×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月5日
19:19
19:19marktechpost@Michal Sutter
Perplexity AI 发布了一款面向个人电脑的混合本地-服务器推理编排器，能够自动将 AI 任务在本地设备和云端模型之间进行路由。该编排器根据任务复杂度、延迟要求和隐私需求，智能选择最佳执行环境，从而优化性能和成本。这一创新解决了用户在使用 AI 应用时面临的本地算力不足与云端延迟之间的权衡问题。对于注重隐私或需要低延迟响应的用户，本地推理可优先处理敏感或简单任务；而复杂推理则自动切换至云端。Perplexity AI 的这一举措旨在提升个人电脑上 AI 助手的实用性和用户体验。
AI产品Perplexity AI混合推理本地-云端编排AI 助手隐私优化
推荐理由：Perplexity AI 的混合编排器解决了本地与云端 AI 任务调度的痛点，让 PC 用户无需手动切换即可获得最佳性能与隐私平衡。做本地 AI 应用开发或重度使用 AI 助手的团队，值得关注这个自动路由方案。
原文
5月28日
17:17
17:17marktechpost@Asif Razzaq
精选72°
Perplexity AI 开源了其重写的 Unigram 分词器，该分词器在 p50 延迟上比 Hugging Face tokenizers crate 低 5 倍，同时将生产环境的 CPU 利用率降低了 5-6 倍。这一改进主要针对重排序器（reranker）的延迟瓶颈，通过优化分词效率来提升整体推理性能。开源版本已在 GitHub 上发布，可供开发者直接使用。对于依赖大规模文本处理的 AI 团队来说，这能显著降低计算成本并加快响应速度。
AI模型分词器开源/仓库Perplexity AI延迟优化推理加速
推荐理由：做搜索或 RAG 系统的团队终于有了更快的分词方案——Perplexity 开源的这个 Unigram 分词器直接降低 5 倍延迟和 6 倍 CPU 消耗，建议有高吞吐需求的开发者立刻试一下。
原文