17:08
官方一手pandaily@contact@pandaily.com (Pandaily)
精选
推荐理由：北大和StepFun搞了个TensorCast，把大模型首Token延迟砍掉九成多，高并发多轮对话场景下很猛。
TensorCast
共 1 条相关 AI 资讯
8月17日
17:08
北京大学、StepFun与北京邮电大学提出TensorCast，一种面向大模型基础设施的统一可编程张量生命周期管理抽象。在高并发多轮智能体场景中，TensorCast将中位首Token延迟最高降低93.2%。模型实例启动速度最高提升228.6倍。该方案由三所机构联合提出。