精选理由
FlashRT用执行状态胶囊实现了亚毫秒级恢复，比传统KV缓存多保存循环状态，对交互式AI和机器人很关键。
论文提出execution-state capsules，一种图绑定的检查点与恢复机制，能保存KV缓存、循环状态、卷积状态等完整执行状态。基于此实现的FlashRT运行时在RTX 5090上，恢复操作亚毫秒级，TTFT相比冷预填充在2k tokens时加速3.9倍，16k tokens时加速27倍。在Jetson AGX Thor和DGX Spark上保持相同正确性和结构特性。该方法不取代高吞吐KV缓存服务，而是为显式执行状态复用提供互补的低延迟方案。
AI 翻译 · 中文
论文提出execution-state capsules，一种图绑定的检查点与恢复机制，能保存KV缓存、循环状态、卷积状态等完整执行状态。基于此实现的FlashRT运行时在RTX 5090上，恢复操作亚毫秒级，TTFT相比冷预填充在2k tokens时加速3.9倍，16k tokens时加速27倍。在Jetson AGX Thor和DGX Spark上保持相同正确性和结构特性。该方法不取代高吞吐KV缓存服务，而是为显式执行状态复用提供互补的低延迟方案。
Mainstream LLM serving systems reuse prefix work mainly through paged or radix key-value (KV) caches. This is highly effective for high-throughput, high-concurrency serving, but it manages only one positional fragment of…