11:16
官方账号arXiv cs.LG@Zhongpan Tang
推荐理由：ProxyFormer模型在处理超长上下文和高分辨率生成方面表现出色，相较于传统模型，其压缩比高达64，训练序列长度可扩展至0.7M，值得一看。
序列长度
共 1 条相关 AI 资讯
8月25日
11:16
ProxyFormer提出了一种基于代理标记的通用双流架构，通过压缩局部特征和仅在压缩代理空间中进行全局交互，解决了超长上下文语言模型和高分辨率生成模型的瓶颈问题。该模型在16GB GPU上，压缩比64时，可训练序列长度扩展至约0.7M，且在多针检索任务中保持92%-95%的检索准确率。