8月25日
11:16
11:16官方账号arXiv cs.LG@Zhongpan Tang
ProxyFormer提出了一种基于代理标记的通用双流架构,通过压缩局部特征和仅在压缩代理空间中进行全局交互,解决了超长上下文语言模型和高分辨率生成模型的瓶颈问题。该模型在16GB GPU上,压缩比64时,可训练序列长度扩展至约0.7M,且在多针检索任务中保持92%-95%的检索准确率。
推荐理由:ProxyFormer模型在处理超长上下文和高分辨率生成方面表现出色,相较于传统模型,其压缩比高达64,训练序列长度可扩展至0.7M,值得一看。
6月17日
03:05