Papers15:03
Chinese contentADPTNet:受听觉皮层启发的非线性SSM序列建模新架构这篇论文用听觉皮层的固定时间尺度思路改设计 SSM,Selective Copying 上赢 Hawk,状态追踪超过 Mamba,还顺带把非线性 RNN 做成可并行的,做架构研究的可以看看。
这篇论文用听觉皮层的固定时间尺度思路改设计 SSM,Selective Copying 上赢 Hawk,状态追踪超过 Mamba,还顺带把非线性 RNN 做成可并行的,做架构研究的可以看看。
推荐系统工程师看过来,UniDot 把特征交互和序列建模统一了,还在 KDD Cup 拿了亚军,值得研究。
Airbnb搞了个JourneyFormer,专治搜索排序中又长又乱的用户序列,实测线上A/B测试效果很不错。
做序列建模或基础模型预训练的团队,这篇论文帮你厘清了 xLSTM 相比 Mamba 等架构的实际优势,看完可以直接指导模型选型。
长度泛化是AI模型的硬骨头,MLP-LDRU用对数深度设计解决了循环模型和Transformer的各自短板,做序列建模和语言理解的团队值得关注这个新架构。