8月27日
10:31
10:31官方账号arXiv cs.AI@Niklas Muennighoff, Zhengyang Wang, Zeyi Chen, Weijia Shi, Binyuan Hui, John Yang, Dapeng Jiang, Mika Senghaas, Fares Obeid, Johannes Hagemann, Sami Jaghouar, Ludwig Schmidt, Percy Liang, Jason Wei, Andrew Y. Ng, Luke Zettlemoyer, Yejin Choi, Mike Lewis
Prefix Sliding 提出在推理过程中丢弃非前缀或最后几千个token的token,以减少内存需求,提高测试时间扩展效率。无需训练,Prefix Sliding 可使现有模型速度提升3倍,训练后使用强化学习可进一步提升性能。代码开源于GitHub。
推荐理由:Prefix Sliding 提升模型推理速度,无需额外训练,开源代码可查。与总结中间token或普通滑动窗口相比,效果更佳。