论文精选

PVMC:10倍加速深度状态空间模型训练的新方法

Efficient Learning of Deep State Space Models via Importance Smoothing

精选理由

做时间序列建模或状态空间模型研究的团队,PVMC让训练速度提升10倍且不牺牲精度,值得直接尝试。

AI 摘要

深度状态空间模型(DSSM)在统计建模中广泛应用,但大规模训练一直困难。现有方法分为两类:自编码DSSM通过优化变分下界训练生成模型,而基于序贯蒙特卡洛(SMC)的方法可处理判别与生成任务,但因前向过程的顺序性在GPU上扩展性差。研究者提出并行变分蒙特卡洛(PVMC)方法,融合两类范式优势,在基准实验中达到或超越当前最优结果,且训练速度比最快的SMC方法快10倍。该方法可稳健训练DSSM用于判别和生成任务,解决了SMC方法在硬件上的扩展瓶颈。

AI 翻译 · 中文

深度状态空间模型(DSSM)在统计建模中广泛应用,但大规模训练一直困难。现有方法分为两类:自编码DSSM通过优化变分下界训练生成模型,而基于序贯蒙特卡洛(SMC)的方法可处理判别与生成任务,但因前向过程的顺序性在GPU上扩展性差。研究者提出并行变分蒙特卡洛(PVMC)方法,融合两类范式优势,在基准实验中达到或超越当前最优结果,且训练速度比最快的SMC方法快10倍。该方法可稳健训练DSSM用于判别和生成任务,解决了SMC方法在硬件上的扩展瓶颈。

arXiv cs.AILatent state space systems are ubiquitous in statistical modelling, arising naturally when a time series is observed through a noisy measurement function, however training deep state space models (DSSM) at scale remains