#状态会话

流式推理场景（如实时数据监控、金融交易、对话系统）的开发者终于有了降低延迟的可行方案——把预填充移出关键路径，查询延迟与上下文大小解耦。做高吞吐低延迟推理服务的团队值得关注这个新范式。