论文15:03
ADPTNet:受听觉皮层启发的非线性SSM序列建模新架构这篇论文用听觉皮层的固定时间尺度思路改设计 SSM,Selective Copying 上赢 Hawk,状态追踪超过 Mamba,还顺带把非线性 RNN 做成可并行的,做架构研究的可以看看。
这篇论文用听觉皮层的固定时间尺度思路改设计 SSM,Selective Copying 上赢 Hawk,状态追踪超过 Mamba,还顺带把非线性 RNN 做成可并行的,做架构研究的可以看看。
长度泛化是AI模型的硬骨头,MLP-LDRU用对数深度设计解决了循环模型和Transformer的各自短板,做序列建模和语言理解的团队值得关注这个新架构。