09:20
官方账号arXiv cs.LG@Yuqi Pan, Zheng Li, Bohao Tang, Zhen Qin, Guoqi Li
精选73°
推荐理由：LoGo让模型智能决定哪些token需要全局注意力，大幅提升长文本处理效率，比传统Transformer更聪明。
LoGo
共 1 条相关 AI 资讯
9月1日
09:20
LoGo是一种新型注意力机制，解决了长上下文场景下的计算瓶颈问题。该模型通过动态分配注意力预算，为每个token选择局部或全局注意力。实验显示，LoGo在保持全注意力Transformer扩展性的同时，在长距离检索任务上表现优于静态混合模型。