09:31
官方一手arXiv: DeepSeek@Zhiqing Tang, Size Li, Hanshuai Cui, Zilan Huang, Jianxiong Guo, Tian Wang, Yuan Wu, Weijia Jia
推荐理由：想减少长链推理的延迟？LASER用负载感知早退，在边缘设备上平衡速度和准确率，值得一试！
早退
共 1 条相关 AI 资讯
7月1日
09:31
DeepSeek-R1等大型推理模型通过长链思维（CoT）获得强性能，但边缘设备资源受限。现有基于置信度的早退方法从单请求角度固定阈值，忽略多请求并发和负载波动。提出LASER，包含负载感知自适应退出阈值和难度-负载感知推理预算预分配。在2个推理模型、4个基准、不同负载条件下，平均延迟降低17-38%，SLO满意度提升3-6%，准确率仅损失1%。