7月2日
12:30
12:30官方账号arXiv cs.LG@Patrick Podest, Marco Pichler, Elias Bürger, Levente Zólyomi, Bernhard Voggenberger, Wilhelm Berghammer, Daniel Klotz, Sebastian Böck, Günter Klambauer, Sepp Hochreiter
TiRex-2是基于xLSTM的循环时间序列基础模型,将单变量TiRex扩展到多变量预测,支持未来已知协变量。它采用双向时间混合器和非对称分组注意力变体混合器,保持严格因果性。在GIFT-Eval和fev-bench上取得零样本SOTA性能。相比Transformer,流式处理时每块计算成本恒定,无需全历史重算。模型单变量模式有38.4M活跃参数,多变量模式额外激活44.1M参数。
推荐理由:TiRex-2是首个同时支持多变量流式预测和已知未来协变量的时间序列基础模型,零样本刷新GIFT-Eval和fev-bench榜单,每步计算量不变。做在线时序预测的朋友可以看看。
6月11日
12:00
12:00官方账号arXiv cs.LG@Anamaria-Roberta Hartl, Levente Zólyomi, David Stap, Pieter-Jan Hoedt, Niklas Schmidinger, Lukas Hauzenberger, Sebastian Böck, Günter Klambauer, Sepp Hochreiter
精选
该论文系统比较了三种主流子二次架构(xLSTM、Mamba-2、Gated DeltaNet)在复杂任务上的表现,包括代码模型预训练、大模型蒸馏和时序基础模型预训练。结果显示,xLSTM 在所有任务中综合性能最优,其优势源于更灵活稳定的门控机制带来的状态追踪与记忆累积能力。研究通过统一公式分析和合成任务验证,揭示了 xLSTM 在长程依赖建模上的核心机制。
推荐理由:做序列建模或基础模型预训练的团队,这篇论文帮你厘清了 xLSTM 相比 Mamba 等架构的实际优势,看完可以直接指导模型选型。