10:19
官方一手arXiv: DeepSeek@Shiju Zhao, Jiacheng Yang, Qihang Chen, Junhao Hu, Jiaqi Zheng, Guihai Chen, Xusheng Chen
精选
推荐理由：这篇论文说用简单填充法就能让LLM推理结果确定，不用牺牲速度，比之前的方案快了不少，还在Qwen和DeepSeek上试过。
CoRun
共 1 条相关 AI 资讯
8月17日
10:19
CoRun是一个面向LLM推理的调度系统，通过隔离预填充和固定形状批处理解码实现确定性输出。相比现有batch-invariant内核方案，CoRun无需牺牲性能即可保证结果一致。在Qwen和DeepSeek等模型上，CoRun吞吐量提升15%至324%，首token延迟平均降低51.8%，每token输出延迟平均降低48.6%。其核心洞察是大多数内核虽非批次不变，但具有位置不变性。