AITOP

迁移学习

共 27 条相关 AI 资讯
8月21日
10:39
10:39官方账号arXiv cs.AI@Gijs Kassenaar, Zhao Yang, Vincent François-Lavet
研究自适应推理模型，通过选择三种模式（无思考、简短推理、扩展推理）来自动分配推理努力。在MATH模型上，简短模式比扩展模式更准确，平均响应长度减少了41%。该模型在多个基准测试中表现良好，无需重新训练即可迁移到其他任务。
论文自适应推理计算分配MATH模型
推荐理由：这篇论文介绍了一种自适应推理模型，通过选择不同的推理模式来优化计算分配，这在处理不同难度的问题时非常有用，值得一看。
原文
8月19日
11:39
11:39官方账号arXiv cs.LG@Nour Shaheen, Junwei Ma, Alex Labach, Frank Hutter, Valentin Thomas, Anthony L. Caterini
研究显示，表格基础模型(TFMs)通过单表格自监督预训练即可实现强迁移能力。表格的有用性取决于特征数量而非实例数量，且与下游任务无关。列级预处理能持续提升下游性能，而数据集级别的过滤或去重则无改善。研究认为TFMs的泛化主要基于检索机制，模型需学会识别相关示例并进行有效聚合。
论文表格基础模型自监督学习迁移学习
推荐理由：这篇论文揭示了表格基础模型如何通过单表格预训练实现强迁移，颠覆了传统大规模数据训练的认知。
原文
8月18日
15:30
15:30官方账号arXiv cs.AI@Keren Artiaga, Yang Li, Ercan Engin Kuruoglu, Wai Kin, Chan
该研究针对超100种手语识别资源匮乏的问题，提出使用域自适应方法TA3N进行跨手语迁移学习。TA3N利用时间关系网络（TRN）模块对齐多尺度时间关系，实验显示域自适应优于神经网络迁移学习，尤其提升美国手语（ASL）识别。研究还发现对齐源域和目标域的短期时间特征更有效。在RGB与光流模式对比中，RGB在多数情况下表现更优。
论文手语识别域自适应TA3N
推荐理由：手语识别资源少，这篇论文用域自适应做跨手语迁移，比传统迁移学习效果好，还比较了RGB和光流，值得做手语识别的朋友看看。
原文
8月17日
10:23
10:23官方账号arXiv cs.AI@Shahab Band, Hamed Mohammadi
针对目标域观测数据有限且源域与目标域统计特性不同的问题，提出一种移位感知双编码器迁移框架。源编码器使用美国10个监测站的逐时观测数据预训练，再用台湾77个站点两年的逐时数据按时间顺序划分训练集和验证集进行适配与评估。在四个基线中，冻结源编码器的双编码器模型达到最佳性能：MSE=21.8960, MAE=3.1597, R^2=0.8725，相比TL-v1的MSE降低约7.1%，相比TL-v2降低约4.1%。消融实验显示移除台湾特定分支导致性能下降最明显，而让源编码器在目标监督下适应得到最优结果（MSE=21.6575, MAE=3.1383, R^2=0.8739）。SHAP分析表明预测主要由近期PM2.5观测和与污染物输送扩散相关的气象变量驱动。
论文PM2.5预测迁移学习双编码器
推荐理由：这个双编码器迁移框架挺有意思：美国数据预训练、台湾数据适配，PM2.5预测MSE比旧方法降了7%，消融实验也扎实。
原文
10:16
10:16官方账号arXiv cs.LG@Syed Abdul Haseeb Qadri, Bjarne C. Hiller, Felix Blanke, Vanja Sophie Cangalovic, Kutalmış Coşkun, Amin Mirzaei, Tom Siegl, Sebastian Bader, Thomas Kirste, Martin Becker
CytoBERT是一个开源的细胞计数数据基础模型，支持可变标记面板。它在15个人类数据集、超过5000万个细胞上自监督预训练。通过标记标准化，模型学会跨数据集的细胞间标记关系。在样本级分类任务上微调后，证明了跨异质细胞计数数据集的迁移学习可行。代码已公开在GitHub。
AI模型CytoBERT细胞计数基础模型
推荐理由：流式细胞数据太杂不好统一？CytoBERT在5000万细胞上预训练，换数据集微调即用，避免从头训练。
原文
8月6日
11:14
11:14官方账号arXiv cs.LG@M. L. Carroll, J. Li, S. D. Guzewich, G. Villanueva, J. A. Caraballo-Vega, M. J. Frost
研究者将地球天气基础模型GraphCast迁移到火星，使用火星气候数据库（MCD）训练，评估其对火星温度和风场的预测能力。零样本预测能大致还原当前状态，但无法捕捉昼夜变化，且会快速退化为气候均值。微调后模型在10个训练周期内学会火星热力变化，可预报10天内的季节和垂直温度结构。预测质量随训练样本增加而提升，并对季节初始化敏感。
论文GraphCastMarsCast火星
推荐理由：谷歌的天气模型GraphCast被拿去预报火星天气了，微调10轮就能预测10天火星温度，未来能帮火星任务避沙尘暴。
原文
8月3日
09:31
09:31官方账号arXiv cs.LG@Panupol Untarabut, Narjes Jomaa, Sylvian Cadars, Olivier Masson, Samuel Bernard, Assil Bouzid, Santanu Saha
研究用CGCNN、GATGNN、ALIGNN和M3GNet四种图神经网络，将有序钙钛矿的知识迁移到无序高熵钙钛矿氧化物（HEPOs）上。形成能预测能有效迁移，但HOMO-LUMO带隙预测因对局部化学环境敏感而迁移性有限。加入少量HEPO专属训练数据后，带隙预测精度显著提升。UMAP分析表明ALIGNN编码的三体几何信息对捕捉结构-性质关系至关重要。
论文ALIGNNCGCNN图神经网络
推荐理由：高熵钙钛矿不好算，这论文拿四种图神经网络试了迁移学习，发现形成能能搬，带隙不行，加点目标数据才准。ALIGNN表现最好。
原文
09:31
09:31官方账号arXiv cs.LG@Priya Tomar, Aditya Parikh, Christian Bauckhage, Rafet Sifa
该研究将类特定解码器架构扩展到跨手术域知识迁移，使用直肠和胆囊切除术两个数据集验证。实验表明，器官特定解码器模型CEMD在跨域预训练后全微调，分割性能达到62.4%Dice，且收敛速度明显快于从零训练。但类别不平衡问题依然存在，迁移学习对少数解剖结构的改善有限。
论文CEMD迁移学习腹腔镜分割
推荐理由：这篇论文把迁移学习用在腹腔镜多器官分割上，CEMD模型微调后Dice到62.4%，还比从零训练快不少，做医学影像分割的值得看看。
原文
7月29日
11:43
11:43官方账号arXiv cs.LG@Adarsh Bhandary Panambur, Siming Bayer, Andreas Maier
论文提出Dataset-Informed Transfer Learning（DITL）框架，整合数据集难度信号与邻域三元组监督。DITL包含自适应难度加权交叉熵（A-DWCE）和自适应邻域表示三元组（A-NR-Triplet），无需超参数调优。在VinDR-Mammo大规模数据集上，DITL在乳腺密度分类的准确率、F1-score和AUC上均取得显著提升（p<0.0001）。在小样本ROI数据集上也获得一致的统计显著增益（p<0.0001）。该方法连接小规模病灶分析与大规模密度估计，形成临床可推广的通用框架。
论文DITLVinDR-Mammo迁移学习
推荐理由：这篇论文提出的DITL方法，在乳腺密度分类上全面超过现有方法，而且不用调参，效果好还省事，值得做医学影像的朋友看看。
原文
7月23日
12:10
7月21日
12:05
12:05官方账号arXiv cs.LG@Yihong Gu, Katherine Liao, Tianxi Cai
论文提出多环境因子模型，高维协变量来自异构环境，部分环境有辅助标签。模型将潜在结构分解为不变因子（共享载荷）和异构因子（环境特定载荷）。基于不变性原理，ATLAS方法分离对齐的不变因子和未对齐的异构因子，并利用辅助标签从异构因子中提取预测不变和可迁移因子。ATLAS在下游潜在因子回归中达到近最优性能，在辅助标签可用时实现全潜在信号的可迁移预测，否则退化为鲁棒的不变因子预测。论文建立了恢复不变和异构因子的尖锐非渐近误差界。
论文ATLAS潜在因子迁移学习
推荐理由：想从多环境数据中提取通用因子做迁移学习？这篇论文提出的ATLAS方法能分离不变和可迁移因子，适合做跨环境预测的研究者。
原文
7月8日
10:00
10:00官方账号arXiv cs.LG@Keonvin Park, Yong Ann Voeurn, Hyeokjun Kweon, Doyun Lee
该研究提出一种基于迁移学习和混合Cross-Entropy-Lovász损失的焊缝分割框架，以解决建筑焊接中光照、反射和薄几何形状导致的分割退化问题。在BiSeNetV2骨干网上，新方法达到81.76% Joint IoU和90.73% mIoU，较OHEM基线提升+22.36个百分点，且保持相同FLOPs和推理速度。在反射条件下，该方法恢复了96.33%的严重零IoU失败案例。与DeepLabV3+、UNet、SegFormer的对比验证了该优化策略对轻量实时分割架构的有效性。
论文BiSeNetV2迁移学习焊缝分割
推荐理由：这篇论文用迁移学习改造BiSeNetV2，把焊接焊缝分割的Joint IoU从50%多干到81%，零IoU失败恢复率96%，而且不改模型大小和速度，搞建筑焊接的可以看看。
原文
7月1日
01:52
6月29日
10:13
6月26日
10:38
10:38官方账号arXiv cs.LG@Santosh Kapuria, Abhishek
本研究提出结合轻量物理仿真、卷积自编码器(CAE)深度特征学习、前馈神经网络和少量实验数据的多保真迁移学习框架。在板状结构损伤定位与尺寸评估中，CAE迁移学习相比CNN方案定位精度显著更优。模型在损伤定位任务上R²超过0.93，损伤尺寸评估R²超过0.99。未见损伤场景下仍保持高预测准确度，实现计算效率与实用性的平衡。
论文卷积自编码器迁移学习结构健康监测
推荐理由：这篇论文用轻量仿真数据预训练CAE再迁移到小样本实验数据，做到了损伤定位R²>0.93、尺寸R²>0.99，比CNN方案准很多，很值结构健康监测方向的人看看。
原文
09:46
09:46官方账号arXiv cs.AI@Jesper Klicks, Sander Vržina, Vincent François-Lavet
这篇论文研究了深度强化学习中状态表示对抽水蓄能交易决策的影响，固定使用Double DQN智能体和HydroDam环境。对比绝对价格/日历特征、相对特征和预测特征三种特征家族，组合使用绝对+相对+预测特征在比利时2007–2011数据上训练，在2012–2025的相同市场测试集上达到55.6%的分数，跨39个ENTSO-E市场区域的分数中位数为47.5%，显著优于单独使用绝对特征（测试集28.8%，跨区中位数5.7%）或相对特征。结果表明状态表示是储水交易强化学习策略设计的核心，而非次要预处理选择。
论文Double DQNHydroDam状态表示
推荐理由：想知道强化学习里状态怎么设计才能跨市场通用？这篇论文用Double DQN和HydroDam做了严谨对比，绝对+相对+预测特征组合最好。
原文
6月24日
11:44
11:44官方账号arXiv cs.LG@Anurag Akula, Satheesh K. Perepu, Abhishek Sarkar, Kaushik Dey
ASALT是一种针对多智能体强化学习（MARL）的迁移学习方法，解决了源域和目标域观测空间与全局状态空间维度不匹配的问题。该方法引入观测层和状态层适配器，将目标域观测和全局状态映射到共享嵌入空间，支持跨异构域的策略迁移。在标准基准环境的多个配置上，ASALT在合作场景中相比现有基线提升了样本效率和全局回报，但效果依赖于源域与目标域的不匹配程度。实验还表明ASALT能缓解负迁移，这是跨不同观测和动作空间域迁移时的常见障碍。
AI模型ASALTMARL多智能体
推荐理由：ASALT这个新方法解决了MARL中状态空间维度不同时知识迁移的难题，实验效果不错，值得做多智能体迁移学习的同学看看。
原文
11:40
11:40官方账号arXiv cs.LG@Jinghan Wang, Feng Cheng, Wentao Wu, Hang Li, Gaoliang Peng, Tianchen Liu
该论文提出一种知识引导的两阶段迁移学习框架，核心是一个轻量级GPT-2风格Transformer，利用因果自注意力从振动信号中分层提取特征。框架通过多源预训练学习通用表示，并借助原型知识调制和分类自适应实现跨域迁移。在4个真实数据集上，仅用10%标签数据即达92.61%平均准确率，比现有最佳方法高17.24个百分点。该方法为工业4.0低成本预测性维护提供了可行方案。
论文GPT-2Transformer轴承故障诊断
推荐理由：这篇论文把GPT-2用在轴承故障诊断上，只用10%的标签数据就比SOTA高了17个百分点，工业场景下很实用。
原文
6月19日
10:17
10:17官方账号arXiv cs.AI@Giancarlo Santamato, Andrea Mattia Garavagno, Massimiliano Solazzi, Antonio Frisoli
论文提出一种在数据极度稀缺条件下设计基于深度迁移学习的振动智能故障诊断系统（IFDS）的新方法。该方法采用周期性多激励水平程序，利用真实系统的固有非线性特性生成图像，供预训练卷积神经网络（CNN）分析以诊断故障。同时提出一种新的数据可视化及增强技术以应对IFDS设计中典型的数据不足。在铁路受电弓结构上的实验验证了该方法的有效性。
论文迁移学习故障诊断数据稀缺
推荐理由：这篇论文用系统非线性生成图像，数据极少也能做故障诊断，还在铁路受电弓上验证了，搞工业AI的可以看看。
原文
6月12日
09:38
09:38官方账号arXiv cs.LG@Abubakar Hamisu Kamagata, Dharm Singh Jat, Attlee Munyaradzi Gamundani, Abhishek Srivastava, Paramasivam Saravanakumar
该研究提出一种物理引导的深度时空学习框架，用于从被动海岸视频流直接估算近岸波浪峰值周期。框架结合了基于时间方差的感兴趣区域检测、多阶段模拟到真实迁移学习以及物理信息正则化，提升了预测精度和物理一致性。实验表明，基于Transformer的架构在瞬时预测精度上表现最佳，而轻量级循环卷积架构在时间稳定性和海洋学技能上更优。消融研究证实了物理引导正则化在趋势一致性方面的优势，可解释性审计显示模型关注了水动力活跃的破浪区。该工作展示了基于视频的深度学习系统在长期、低成本海岸波浪监测中的潜力。
论文物理引导深度学习波浪监测视频分析
推荐理由：做海岸工程或海洋监测的团队，终于有了一个成本低、可解释的AI方案——从视频直接估算波浪参数，比布设浮标省钱省力，值得关注。
原文
6月11日
09:49
09:49官方账号arXiv cs.AI@Minh-Khoi Pham, Luca Cotugno, Alina Sirbu, Tai Tan Mai, Martin Crane, Marija Bezbradica
精选
该研究提出了一种轻量级适配方法，将表格基础模型（如TabPFN、TabDPT、TabICL）应用于临床生存分析，通过直接训练一个生存感知头（MTLR）来预测右删失的时间事件结果。在多个公开生存基准和两个大规模ICU队列（MIMIC-IV和eICU）上的评估显示，该方法在C-index指标上优于传统深度生存模型（如DeepSurv），相对提升达1.4%-1.7%。这表明预训练表格表示与生存感知目标的结合为临床生存预测提供了实用且有效的替代方案。
论文表格基础模型生存分析临床决策
推荐理由：临床研究人员和医疗AI开发者终于有了一个无需从头训练就能做生存分析的方案——用表格基础模型加一个轻量头就能超越DeepSurv，做ICU预后预测的团队可以直接在MIMIC-IV和eICU上复现。
原文
6月9日
11:02
11:02官方账号arXiv cs.AI@Tianyu Ruan, Fengzhuo Zhang, Shuche Wang, Shihua Zhang
精选72°
Muon 作为预训练大语言模型和视觉分类器的新兴优化器，其效率优势已超过 Adam 和 SGD，但特征学习优势尚不明确。本文通过鲁棒性和迁移性视角研究 Muon 的特征学习优势：在损坏图像和文本上评估预训练模型，发现 Muon 学到的特征比 Adam 和 SGD 更鲁棒，且这种优势体现在更大的 logit 边际上。通过下游任务的线性分类器或微调，Muon 的特征迁移效果更好，这得益于隐藏状态的有效秩更高。在含多组件的分类问题中，论文从理论上证明了 Muon 能获得更大边际和更高有效秩。
论文Muon优化器鲁棒性
推荐理由：Muon 优化器在鲁棒性和迁移性上全面超越 Adam，做预训练或迁移学习的团队值得关注，尤其是需要模型对噪声和下游任务更鲁棒的场景。
原文
6月2日
11:09
11:09官方账号arXiv cs.AI@Adrián Cánovas-Rodriguez, Miguel A. González-Illán, Maria Fernanda García-Cruz, Pedro Nortes Tortosa, José Salvador Rubio-Asensio, Miguel A. Zamora Izquierdo, Juan Antonio Martínez Navarro, Antonio F. Skarmeta
研究者提出基于注意力机制和迁移学习的桃叶损伤分类方法，解决不同田间环境下的域迁移问题。他们构建了包含 1,366 张桃叶、6 类损伤的公开基准数据集，并评估多种深度学习架构。EfficientNetB5 结合 CBAM 注意力模块取得最佳准确率 93.3%，在少数类上表现更强。针对本地 180 张图像的域迁移测试，EfficientNetB3+CBAM 通过微调策略达到 93% 的宏 F1 分数，证明注意力机制能提升模型跨域泛化能力。
论文注意力机制迁移学习农业AI
推荐理由：农业 AI 落地常卡在域迁移上——不同果园的光照、品种会让模型失效。这篇用 CBAM 注意力+迁移学习把桃叶病害分类的跨域准确率拉到 93%，做作物病害检测的团队可以直接参考其微调策略。
原文
5月27日
10:52
10:52官方账号arXiv cs.LG@Lauren J Beesley, Alexander C Murph, Dave Osthus, Lauren A Castro
精选
该研究通过迁移学习，利用66种传染病的数据流训练预测模型，显著提升了20种疾病数据流的预测性能。研究发现，整合多数据流在84.9%的时间序列和模型结构中改善了预测效果，但数据质量至关重要，添加与目标数据差异过大的数据可能降低性能。研究者还公开了一个多疾病数据库，供传染病预测社区使用。
论文迁移学习传染病预测多数据流
推荐理由：传染病预测模型常因数据单一而脆弱，这项研究用66种疾病数据做迁移学习，解决了数据短缺问题。做公共卫生预测或流行病建模的团队，可以直接用公开数据库试试。
原文
5月25日
11:19
11:19官方账号arXiv cs.AI@Ming Yang, Tao Yu, Feng Li, Hua Chen
精选
全身跟踪（WBT）模型是人形机器人模仿多样动作的关键基础，但从头训练需要大量数据和计算资源。Any2Any 提出一种新范式，通过运动学对齐和轻量级参数高效微调（PEFT），将预训练的 WBT 模型快速迁移到新的人形机器人本体上。实验表明，仅需 1% 的计算和数据量，Any2Any 就能将基于 Unitree G1 预训练的 Sonic 模型成功迁移到 LimX Oli 和 LimX Luna 上，性能与从头训练相当甚至更优。这为快速部署人形机器人全身控制提供了可扩展的路径。
论文人形机器人全身跟踪迁移学习
推荐理由：人形机器人开发者终于有了低成本复用预训练模型的方法——Any2Any 用 1% 的数据和算力就能迁移全身跟踪能力，做机器人部署的团队可以直接参考。
原文
5月22日
11:07
11:07官方账号arXiv cs.AI@Amir Mousavi, Mohammad Sadegh Sirjani, Erfan Nourbakhsh, Mimi Xie, Rocky Slavin, Leslie Neely, John Davis, John Quarles
精选
实时认知负荷评估对自适应人机交互至关重要，但受限于标注数据少和跨个体泛化差。CogAdapt提出LeadBridge适配器，将3导联可穿戴信号转换为12导联临床格式，并结合ProFine渐进微调策略，防止灾难性遗忘。在CLARE和CL-Drive数据集上，CogAdapt的宏F1分数分别达0.626和0.768，显著优于从头训练的基线模型。该工作证明了基础模型迁移在可穿戴设备上实现个体无关认知负荷评估的可行性。
论文ECG基础模型认知负荷评估可穿戴设备
推荐理由：做可穿戴设备或脑机接口的团队，终于有了一个把临床大模型直接用到低导联设备上的实用方案——CogAdapt的LeadBridge适配器解决了传感器不匹配的痛点，建议做认知负荷评估的开发者直接参考。
原文
5月19日
12:46
12:46官方一手arXiv: OpenAI@Benedict Florance Arockiaraj, Richard Chang, Wesley Yee
精选
该研究探索了深度强化学习中迁移学习的应用，通过在OpenAI赛车环境中训练智能体在一个赛道上，然后通过零样本迁移或微调在其他定制赛道上实现快速圈速。研究发现，基于模型的方法在性能和收敛速度上均优于无模型方法。迁移学习不仅提升了目标域的性能，还在学习过程中表现出高效性。
论文迁移学习深度强化学习赛车环境
推荐理由：做强化学习或自动驾驶的团队可以看看这篇——迁移学习让赛车智能体快速适应新赛道，模型方法收敛更快，值得一试。
原文