论文15:03
ADPTNet:受听觉皮层启发的非线性SSM序列建模新架构这篇论文用听觉皮层的固定时间尺度思路改设计 SSM,Selective Copying 上赢 Hawk,状态追踪超过 Mamba,还顺带把非线性 RNN 做成可并行的,做架构研究的可以看看。
这篇论文用听觉皮层的固定时间尺度思路改设计 SSM,Selective Copying 上赢 Hawk,状态追踪超过 Mamba,还顺带把非线性 RNN 做成可并行的,做架构研究的可以看看。
Nemotron 3 Ultra 的混合 SSM+MoE 架构解决了长序列推理的高成本痛点,做长上下文应用或工具调用的开发者值得关注,可以直接期待其发布。