#迁移学习

Chollet 拿 80 年代的心理学研究做类比，说明练编程、刷数学并不能让人变聪明，对理解模型泛化能力也很有启发。

官方账号François Chollet@fchollet原文

半导体量测圈的朋友可以看看：用神经网络把 SPM 图像分辨率提上去，还靠迁移学习省数据，200nm 和 100nm 两种结构都做了实测。

研究团队把心脏超声预训练模型搬到肺超声筛查结核，结果预训练领域影响几乎为零，一个简单特征标准化技巧反而涨了 1.23 个百分点，做医疗影像的可以看看。

做图学习的朋友可以看这篇：作者发现现有动态图模型跨域迁移竟然打不过一个只看文本的 BoE 基线，然后提出了 STSA 来解决。

用完全冻结的MAE视觉模型做时序预测，加上VCR和TPR两个模块，在10个数据集上跑赢了现有方法。

把 139 只小鼠 276 个脑区的神经记录做成基准，专测预训练模型跨动物迁移，做神经+AI 的能直接拿来跑。

这篇论文提出了一个解决领域演化下迁移学习问题的全新框架TrED，对相关研究者很有参考价值。

这篇论文研究了农业杂草检测的迁移性，比较了不同迁移策略，发现少量样本微调效果显著，对于需要跨作物迁移检测器的农业应用有重要意义。

这篇论文介绍了一种自适应推理模型，通过选择不同的推理模式来优化计算分配，这在处理不同难度的问题时非常有用，值得一看。

这篇论文揭示了表格基础模型如何通过单表格预训练实现强迁移，颠覆了传统大规模数据训练的认知。

手语识别资源少，这篇论文用域自适应做跨手语迁移，比传统迁移学习效果好，还比较了RGB和光流，值得做手语识别的朋友看看。

这个双编码器迁移框架挺有意思：美国数据预训练、台湾数据适配，PM2.5预测MSE比旧方法降了7%，消融实验也扎实。

流式细胞数据太杂不好统一？CytoBERT在5000万细胞上预训练，换数据集微调即用，避免从头训练。

谷歌的天气模型GraphCast被拿去预报火星天气了，微调10轮就能预测10天火星温度，未来能帮火星任务避沙尘暴。

高熵钙钛矿不好算，这论文拿四种图神经网络试了迁移学习，发现形成能能搬，带隙不行，加点目标数据才准。ALIGNN表现最好。

这篇论文把迁移学习用在腹腔镜多器官分割上，CEMD模型微调后Dice到62.4%，还比从零训练快不少，做医学影像分割的值得看看。

这篇论文提出的DITL方法，在乳腺密度分类上全面超过现有方法，而且不用调参，效果好还省事，值得做医学影像的朋友看看。

PSDA用配对采样给UDA降方差，比同类方法稳定，效果很实在。

想从多环境数据中提取通用因子做迁移学习？这篇论文提出的ATLAS方法能分离不变和可迁移因子，适合做跨环境预测的研究者。

这篇论文用迁移学习改造BiSeNetV2，把焊接焊缝分割的Joint IoU从50%多干到81%，零IoU失败恢复率96%，而且不改模型大小和速度，搞建筑焊接的可以看看。

这篇论文讲怎么用迁移学习加速电池PINN模型训练，能跨电池用，省时间还准，做电池仿真的可以看看。

这篇论文用轻量仿真数据预训练CAE再迁移到小样本实验数据，做到了损伤定位R²>0.93、尺寸R²>0.99，比CNN方案准很多，很值结构健康监测方向的人看看。

想知道强化学习里状态怎么设计才能跨市场通用？这篇论文用Double DQN和HydroDam做了严谨对比，绝对+相对+预测特征组合最好。

ASALT这个新方法解决了MARL中状态空间维度不同时知识迁移的难题，实验效果不错，值得做多智能体迁移学习的同学看看。

这篇论文把GPT-2用在轴承故障诊断上，只用10%的标签数据就比SOTA高了17个百分点，工业场景下很实用。

这篇论文用系统非线性生成图像，数据极少也能做故障诊断，还在铁路受电弓上验证了，搞工业AI的可以看看。

做海岸工程或海洋监测的团队，终于有了一个成本低、可解释的AI方案——从视频直接估算波浪参数，比布设浮标省钱省力，值得关注。

农业 AI 落地常卡在域迁移上——不同果园的光照、品种会让模型失效。这篇用 CBAM 注意力+迁移学习把桃叶病害分类的跨域准确率拉到 93%，做作物病害检测的团队可以直接参考其微调策略。