10:22arXiv cs.LG@Lang Huang, Jinglue Xu, Luke Darlow研究使用Ridge回归作为测试床,在8个标准基准上搜索上下文长度、局部归一化、正则化和数据增强的最优超参数。发现最佳回溯窗口长度与预测时序高度相关,且非单调,幂律指数从ETTm2的+0.46到Exchange和Traffic的-0.19。在大多数数据集-预测时距组合上,优化后的线性模型超越了先前的线性预测器,并超过Transformer、MLP和CNN基线在6/8个基准上的表现。优化超参数还可作为数据诊断工具,揭示大型模型隐式学习的结构。论文Ridge回归时间序列预测超参数优化基准测试线性模型推荐理由:这篇论文发现,调好预处理参数,线性模型就能干翻Transformer等复杂模型,不用堆算力。原文
11:32arXiv cs.LG@Luca Thale-Bombien, Jan Ewald, Ralf König, Aaron Klein精选BBOmix 是首个针对真实生物数据的无监督表示学习超参数优化(HPO)开源表格基准。它包含来自 TCGA 和 SCHC 数据集的 105,000 次评估,涵盖四种自编码器架构和七种多组学模态。该基准量化了重建损失与下游任务性能之间的相关性,并评估了多种 HPO 方法,为无监督生物表示学习研究建立了严格基线。论文超参数优化自编码器生物信息学组学数据基准测试推荐理由:做生物信息学或组学数据降维的团队,终于有了一个标准化的 HPO 测试场——BBOmix 帮你省去从头调参的试错成本,做自编码器研究的可以直接用它验证方法。原文