adaptation(适应/自适应学习)是机器学习中让模型在训练完成后继续根据新数据、新任务或新环境进行调整的一类技术,涵盖测试时适应、参数高效微调、域适应等方向。在当下大模型与智能体快速部署的背景下,adaptation 正从“离线一次性训练”转向“在线持续调整”,研究热点集中在如何让模型在推理阶段或真实使用环境中保持性能稳定。
Adaptation 的近期研究进展
近期多个方向的工作展示了 adaptation 的不同侧重:
此外,Variance-reduced Domain Adaptation using Paired Sampling 和 新方法解决不平衡二值分割中熵最小化导致的预测坍塌问题 分别从域适应的采样方差控制和熵最小化的稳定性角度,修补了经典适应方法的已知缺陷。
当前焦点与观察点
目前的争论集中在两点。一是适应的时机:测试时适应和上下文内的适应(如 In-Context Reward Adaptation 用上下文学习实现鲁棒偏好建模)主张不改权重、按需调整,而 NoRA 等参数高效方法仍依赖显式微调,两条路线在成本与效果上尚未有定论。二是适应的安全性:子空间约束的适应方法 指出,微调通道本身可能被投毒利用,需要在表达能力与安全边界之间做权衡。
值得观察的趋势是,adaptation 的评估正在从静态基准转向动态环境,EvoHarnessBench 代表的“环境持续演进”类评测可能成为智能体时代衡量适应能力的主流方式;同时医学图像领域(如 SegDINO)也在探索以更少数据和算力实现跨域分割适应。总体来看,adaptation 的研究正从“如何适应”走向“在什么条件下、以何种代价安全地适应”。