设备端AI 相关 AI 资讯 · AI 热点

7月8日

03:06

03:06

Qdrant@qdrant_engine

Qdrant Edge是一个面向边缘设备的向量数据库。该广播演示了如何在设备端通过Qdrant Edge实现检索增强生成（RAG）。设备端RAG能提升AI应用的实时性和隐私保护，降低对云端的依赖。具体实现细节未在推文中展开。

技巧 Qdrant Edge RAG 设备端AI 向量数据库

推荐理由：Qdrant展示了如何在手机上跑RAG，用他们的Edge产品。如果你在意隐私和离线AI，看看这个。

6月19日

11:42

11:42

官方账号arXiv cs.LG@Liang Su

论文提出execution-state capsules，一种图绑定的检查点与恢复机制，能保存KV缓存、循环状态、卷积状态等完整执行状态。基于此实现的FlashRT运行时在RTX 5090上，恢复操作亚毫秒级，TTFT相比冷预填充在2k tokens时加速3.9倍，16k tokens时加速27倍。在Jetson AGX Thor和DGX Spark上保持相同正确性和结构特性。该方法不取代高吞吐KV缓存服务，而是为显式执行状态复用提供互补的低延迟方案。

论文 Execution-State Capsules FlashRT 设备端AI 低延迟推理检查点恢复

推荐理由：FlashRT用执行状态胶囊实现了亚毫秒级恢复，比传统KV缓存多保存循环状态，对交互式AI和机器人很关键。

6月3日

07:58

07:58

官方账号Microsoft Research@MSFTResearch

微软研究院在MSBuild上展示了MagenticLite，一种可在本地设备上运行的小型模型，用于驱动智能体体验。该方案强调在设备端运行，无需依赖云端，从而提升隐私和响应速度。MagenticLite旨在让智能体功能更轻量、更普及，适合资源受限的设备。这标志着微软在边缘AI和智能体技术上的新进展。

AI产品智能体小模型设备端AI 微软 MagenticLite

推荐理由：微软把智能体体验压缩到设备端小模型上，做边缘AI或隐私敏感应用的开发者值得关注，可以直接在本地跑智能体。