超参数优化相关 AI 资讯 · AI 热点

6月26日

10:22

10:22

官方账号arXiv cs.LG@Lang Huang, Jinglue Xu, Luke Darlow

研究使用Ridge回归作为测试床，在8个标准基准上搜索上下文长度、局部归一化、正则化和数据增强的最优超参数。发现最佳回溯窗口长度与预测时序高度相关，且非单调，幂律指数从ETTm2的+0.46到Exchange和Traffic的-0.19。在大多数数据集-预测时距组合上，优化后的线性模型超越了先前的线性预测器，并超过Transformer、MLP和CNN基线在6/8个基准上的表现。优化超参数还可作为数据诊断工具，揭示大型模型隐式学习的结构。

论文 Ridge回归时间序列预测超参数优化基准测试线性模型

推荐理由：这篇论文发现，调好预处理参数，线性模型就能干翻Transformer等复杂模型，不用堆算力。

6月4日

11:32

11:32

官方账号arXiv cs.LG@Luca Thale-Bombien, Jan Ewald, Ralf König, Aaron Klein

精选

BBOmix 是首个针对真实生物数据的无监督表示学习超参数优化（HPO）开源表格基准。它包含来自 TCGA 和 SCHC 数据集的 105,000 次评估，涵盖四种自编码器架构和七种多组学模态。该基准量化了重建损失与下游任务性能之间的相关性，并评估了多种 HPO 方法，为无监督生物表示学习研究建立了严格基线。

论文超参数优化自编码器生物信息学组学数据基准测试

推荐理由：做生物信息学或组学数据降维的团队，终于有了一个标准化的 HPO 测试场——BBOmix 帮你省去从头调参的试错成本，做自编码器研究的可以直接用它验证方法。