精选理由
CHARM解决了多变量时间序列表示学习的通用性问题,做传感器数据分析、工业监控或金融时序预测的团队可以直接用线性探针获得强性能,值得关注其跨数据集泛化能力。
CHARM是一种基于Transformer的通道感知表示模型,通过将通道级文本描述集成到编码器中,实现了对异构多变量时间序列的通用表示学习。该模型采用联合嵌入预测架构(JEPA)训练,并引入新损失函数以促进信息丰富且时间稳定的嵌入,在潜在空间预测中增强对传感器噪声的鲁棒性。在异常检测、分类和短期/长期预测任务中,仅使用线性探针即可达到强性能。性能提升主要归功于JEPA目标和条件架构,文本描述作为通道标识符支持跨数据集泛化。
AI 翻译 · 中文
CHARM是一种基于Transformer的通道感知表示模型,通过将通道级文本描述集成到编码器中,实现了对异构多变量时间序列的通用表示学习。该模型采用联合嵌入预测架构(JEPA)训练,并引入新损失函数以促进信息丰富且时间稳定的嵌入,在潜在空间预测中增强对传感器噪声的鲁棒性。在异常检测、分类和短期/长期预测任务中,仅使用线性探针即可达到强性能。性能提升主要归功于JEPA目标和条件架构,文本描述作为通道标识符支持跨数据集泛化。
Transformer-based architectures have advanced sequence modeling in language and vision, yet general-purpose representation learning for heterogeneous multivariate time series remains underexplored. We introduce CHARM (Ch…