AITOP

元学习

共 6 条相关 AI 资讯
7月16日
09:31
09:31官方账号arXiv cs.AI@Nan Chen, Zemin Liu, Bryan Hooi, Bingsheng He, Jun Hu, Jia Chen
论文提出NodeImport框架，针对图神经网络在类不平衡场景下对少数类过拟合的问题。该方法通过构建平衡元集来测量节点重要性，筛选出能提升无偏模型性能的标签、未标签及合成节点。理论推导出直接评估节点重要性的公式，并引入阈值用于节点选择。在多个数据集上使用GCN、GAT等架构进行测试，结果优于现有基线方法。
论文NodeImport图神经网络类别不平衡
推荐理由：这篇论文讲怎么解决图数据里类别不平衡的问题，NodeImport能动态挑出重要节点，不用重新生成太多假数据，效果还比现有方法好。做图神经网络、节点分类的可以看看方法细节。
原文
6月15日
11:12
6月8日
11:07
11:07官方账号arXiv cs.LG@Ryan Missel, Xiajun Jiang, Linwei Wang
个性化心脏模拟面临模型个性化和计算成本挑战，现有神经代理方法要么侧重高效个性化，要么侧重泛化模型训练。最新研究通过小样本生成建模和元学习实现个性化，但假设训练分布静态且任务标识已知，无法处理临床中顺序到达的未标记数据，否则会灾难性遗忘。本文提出持续元学习框架CoMetaPNS，利用持续贝叶斯高斯混合模型推断数据标识和关系，实现个性化神经代理的持续集成。在合成心脏数据上，该方法在模拟预测、计算可扩展性和抗遗忘方面优于现有基线。
论文持续学习元学习心脏模拟
推荐理由：心脏模拟领域终于有了能应对临床数据流变化的方案——CoMetaPNS解决了灾难性遗忘问题，做个性化医疗模拟或心脏电生理研究的团队可以直接参考其持续学习框架。
原文
6月2日
11:18
11:18官方账号arXiv cs.LG@Kazuto Fukuchi, Ryuichiro Hataya, Kota Matsui
精选
该论文提出了复杂度最小化框架，用于理论解释预训练数据规模增大如何降低下游样本复杂度。通过端到端分析，证明该框架能捕捉元学习中的缩放行为，即少样本适应误差率随元训练数据量增加而改善。实验表明，将复杂度正则化融入现有元学习方法能持续提升下游样本效率。
论文元学习预训练复杂度最小化
推荐理由：这篇论文为预训练数据规模定律提供了首个理论证明，做元学习或预训练研究的学者值得关注，可以直接参考其复杂度正则化方法改进现有模型。
原文
5月15日
11:19
11:19官方账号arXiv cs.LG@Christopher Stith, Medha Barath, Vahid Balazadeh, Jesse C. Cresswell, Rahul G. Krishnan
精选
因果推断在多个学科中至关重要，但连续治疗设置（干预变量为连续值）的研究远少于二元治疗。本文提出首个针对连续治疗设置的因果基础模型，通过元学习在未见任务上预测因果效应，无需额外训练。模型设计了一种新的数据生成过程先验，生成丰富的因果训练语料，并训练Transformer利用上下文学习从观测数据重建个体治疗-响应曲线。该模型在个体治疗-响应曲线重建任务上达到最先进性能，超越了专门训练的因果模型。
论文因果推断基础模型连续治疗
推荐理由：连续治疗效应预测是因果推断的难点，做医疗、经济等领域的因果分析团队可以直接用这个基础模型零样本预测，省去大量模型训练成本。
原文
5月12日
19:11
19:11官方账号arXiv cs.LG@Gaotang Li, Bhavana Dalvi Mishra, Zifeng Wang, Jun Yan, Yanfei Chen, Chun-Liang Li, Long T. Le, Rujun Han, George Lee, Hanghang Tong, Chen-Yu Lee, Tomas Pfister
RubricEM 是一种新型强化学习框架，用于训练深度研究智能体（如规划、搜索、证据评估和长报告合成的系统）。该框架引入了基于评分标准的策略分解和自省元策略进化，通过将研究轨迹分段并与自生成评分标准关联，利用阶段评分提供密集语义反馈。RubricEM-8B 模型在四个长研究基准上表现出色，性能接近专有深度研究系统。
论文强化学习智能体研究智能体
推荐理由：该工作为奖励不可验证的长期任务提供了结构化强化学习新思路，通过评分标准统一策略执行、评判反馈和智能体记忆，对复杂研究智能体训练具有实践指导意义。
原文