#低延迟推理
共 2 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「低延迟推理」标签的资讯、产品与论文,按刊登时间排,新的在上。
8月25日
6月19日
论文11:42
Execution-State Capsules: 用于低延迟设备端AI服务的图绑执行状态检查点与恢复FlashRT用执行状态胶囊实现了亚毫秒级恢复,比传统KV缓存多保存循环状态,对交互式AI和机器人很关键。
FlashRT用执行状态胶囊实现了亚毫秒级恢复,比传统KV缓存多保存循环状态,对交互式AI和机器人很关键。