Sequential(序列建模)是机器学习中处理按时间或顺序排列数据的一类核心方法,广泛用于推荐系统、语音、时间序列预测与扩散模型采样等场景。它的基本问题是:如何从历史序列中提取依赖关系,进而预测下一步或生成完整输出。近年来,从 Transformer 到状态空间模型(SSM),序列建模的架构选择一直是学界与工业界持续讨论的话题。
Sequential 建模的近期进展
当前焦点与观察点
围绕 Sequential 建模,当前讨论主要集中在三条线上。其一是架构之争:SSM 等非线性循环结构能否在长序列上以更低成本逼近或超越注意力机制,ADPTNet 等工作正在给出初步证据,但尚未形成定论。其二是"去序列化"趋势:无论是并行生成式推荐,还是扩散模型的并行采样研究,都在试图削弱逐步顺序依赖带来的延迟,这在推荐和大规模生成场景中尤其受关注。
其三是序列方法与具体任务的结合深度。离线策略评估中的最优顺序标注、机器遗忘中的顺序删除高斯机制、以及数值天气预报中 Batched NN 4D-Var 这类混合预报框架,都表明 sequential 思想正从单纯的模型架构扩展为贯穿数据处理、隐私合规与科学计算的通用范式。对从业者的观察建议是:关注架构层面的效率-质量权衡,以及顺序建模在非典型场景(科学模拟、隐私审计)中的溢出应用。