CHARM:多模态JEPA为时间序列生成语义嵌入

Giving Sensors a Voice: Multimodal JEPA for Semantic Time-Series Embeddings

精选理由

CHARM解决了多变量时间序列表示学习的通用性问题,做传感器数据分析、工业监控或金融时序预测的团队可以直接用线性探针获得强性能,值得关注其跨数据集泛化能力。

AI 摘要

CHARM是一种基于Transformer的通道感知表示模型,通过将通道级文本描述集成到编码器中,实现了对异构多变量时间序列的通用表示学习。该模型采用联合嵌入预测架构(JEPA)训练,并引入新损失函数以促进信息丰富且时间稳定的嵌入,在潜在空间预测中增强对传感器噪声的鲁棒性。在异常检测、分类和短期/长期预测任务中,仅使用线性探针即可达到强性能。性能提升主要归功于JEPA目标和条件架构,文本描述作为通道标识符支持跨数据集泛化。

AI 翻译 · 中文

CHARM是一种基于Transformer的通道感知表示模型,通过将通道级文本描述集成到编码器中,实现了对异构多变量时间序列的通用表示学习。该模型采用联合嵌入预测架构(JEPA)训练,并引入新损失函数以促进信息丰富且时间稳定的嵌入,在潜在空间预测中增强对传感器噪声的鲁棒性。在异常检测、分类和短期/长期预测任务中,仅使用线性探针即可达到强性能。性能提升主要归功于JEPA目标和条件架构,文本描述作为通道标识符支持跨数据集泛化。

arXiv cs.LGTransformer-based architectures have advanced sequence modeling in language and vision, yet general-purpose representation learning for heterogeneous multivariate time series remains underexplored. We introduce CHARM (Ch