11:42
arXiv cs.LG@Liang Su
推荐理由：FlashRT用执行状态胶囊实现了亚毫秒级恢复，比传统KV缓存多保存循环状态，对交互式AI和机器人很关键。
全部 AI 动态
AI 相关资讯全量信息流
6月19日
11:42
论文提出execution-state capsules，一种图绑定的检查点与恢复机制，能保存KV缓存、循环状态、卷积状态等完整执行状态。基于此实现的FlashRT运行时在RTX 5090上，恢复操作亚毫秒级，TTFT相比冷预填充在2k tokens时加速3.9倍，16k tokens时加速27倍。在Jetson AGX Thor和DGX Spark上保持相同正确性和结构特性。该方法不取代高吞吐KV缓存服务，而是为显式执行状态复用提供互补的低延迟方案。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07