11:42
官方账号arXiv cs.LG@Liang Su
推荐理由：FlashRT用执行状态胶囊实现了亚毫秒级恢复，比传统KV缓存多保存循环状态，对交互式AI和机器人很关键。
FlashRT
共 1 条相关 AI 资讯
6月19日
11:42
论文提出execution-state capsules，一种图绑定的检查点与恢复机制，能保存KV缓存、循环状态、卷积状态等完整执行状态。基于此实现的FlashRT运行时在RTX 5090上，恢复操作亚毫秒级，TTFT相比冷预填充在2k tokens时加速3.9倍，16k tokens时加速27倍。在Jetson AGX Thor和DGX Spark上保持相同正确性和结构特性。该方法不取代高吞吐KV缓存服务，而是为显式执行状态复用提供互补的低延迟方案。