AITOP

GR2

共 2 条相关 AI 资讯
7月2日
10:23
10:23官方账号arXiv cs.AI@Zhuoxuan Zhang, Kangqi Ni, Yuhang Chen, Mingfu Liang, Xiaohan Wei, Yunchen Pu, Fei Tian, Chonglin Sun, Frank Shyu, Adam, Song, Sandeep Pandey, Luke Simon, Tianlong Chen, Xi Liu
生成式推理重排序器（GR2）通过自回归解码生成推理链后再排序，准确率高但推理速度慢。论文提出Diffusion-GR2，将自回归重排序器转换为块扩散模型，并行解码多个位置。通过转换微调（CFT）解决结构间隙，确保输出有效排列；通过在线蒸馏（OPD）和强化学习（RL）弥补分布间隙。在Amazon Beauty数据集上，Diffusion-GR2准确率接近自回归基线，推理吞吐量提升2.4-3.5倍。消融实验显示CFT恢复大部分转换损失，在线蒸馏进一步缩小差距。
论文Diffusion-GR2GR2AR re-ranker
推荐理由：想加速推理重排序又不想掉精度？这篇把自回归GR2换成块扩散，速度提升2.4倍以上，准确率几乎没降，干货满满。
原文
7月1日
10:16
10:16官方账号arXiv cs.AI@Yufei Li, Zaiwei Zhang, Mingfu Liang, Kavosh Asadi, Jay Xu, Jimmy Kim, Chongyang Bai, Jieyi Zhang, Hongye Xie, Prachi Agrawal, Dian Yu, Tianyi Chen, Jean-Pascal Billaud, Garret Buell, YK, Zhu, Sachin Patil, Brooke Bian, Zhou Fang, Kevin Huang, Shiva Sudanagunta, Yuzhen Huang, Emma Lu, Chris O'Brien, Yang Song, Lihong Li, Jacob Tao, Zhicheng Zhu, Chao Li, Gaoxiang Liu, Neil Wu, Zhongyin Hu, Li Han, Loki Chen, Ming Lei, Greg Rehm, Siyuan Song, Tianwei Zhang, Li Li, Ketan Singh, Yavuz Yetim, Ilyas Atishev, Satendra Gera, Ashkan Sadeghi, Rachel Yan, Nikko Mizutani, Shuaiwen Wang, Song Yang, Zhijing Li, Jiang Liu, Mengying Sun, Fei Tian, Xiaohan Wei, Chonglin Sun, Parish Aggarwal, Kaushik Rangadurai, Zhi Hua, Frank Shyu, Ruchit Sharma, Liyuan Li, Shike Mei, Wenlin Chen, Santanu Kolay, Ben Schulte, Deepak Chandra, Adam, Song, Sandeep Pandey, Xi Liu, Hamed Firooz, Luke Simon
GR2是一个端到端的生成式推理重排序框架，面向工业推荐系统的重排序阶段。它采用语义ID分词器（唯一性≥99%）、从更强教师模型进行推理蒸馏，以及基于可验证奖励的强化学习。在工业规模流量上，GR2相比基线实现R@1提升18.7%、R@3提升7.1%、N@3提升9.6%。论文还发现奖励设计至关重要，LLM可能通过保持输入顺序或利用位置偏差来“欺骗”奖励。
论文GR2推荐系统重排序
推荐理由：这篇论文提出了GR2，在工业重排序上拿下了18.7%的召回提升，还解决了LLM作弊奖励的问题，做推荐系统的可以看看。
原文