Averaging(平均/平均化)是一种将多个模型、权重、预测或决策进行融合的通用技术,在机器学习中广泛用于提升鲁棒性、降低方差和改善泛化能力。它既可以指对模型权重取平均(如权重平均、模型合并),也可以指对推理时的输出或策略进行平均(如选项顺序平均、集成预测)。近期的研究进一步将平均思想与贝叶斯推断、持续学习和分布式训练结合,成为优化与评估流程中的基础组件。
Averaging 近期进展
在模型合并方向,一项研究挑战了 LoRA 合并必须统一秩的假设,提出按域选择秩的策略,在多个基准上最多提升 1.8 个百分点,表明加权平均的粒度可以更细。研究显示 LoRA 模型合并无需统一秩,按域选秩最多提升 1.8 个百分点
在权重平均的应用上,有工作将 Rank-1 权重修正引入可训练权重平均,用于分布外(OOD)检测,通过平均多个检查点的权重增强模型对分布偏移的敏感度。Rank-1 权重修正的可训练权重平均方法用于 OOD 检测
在分布式学习场景,一项研究提出基于加权平均的一次性分布式学习框架,利用服务器端信息调整各客户端的聚合权重,减少通信轮次的同时保持模型质量。One-shot Distributed Learning via Weighted Averaging with Server-side Information
此外,推理阶段的平均策略也受到关注:有研究比较了在固定推理预算下,将资源分配给权重精度还是选项顺序平均,发现两者存在权衡关系,为小规模本地语言模型的部署提供了参考。Bits or permutations? Spending a fixed inference budget on weight precision or on option-order averaging in small local language models
当前焦点与观察点
当前围绕 Averaging 的讨论集中在几个层面:一是平均的粒度与自适应策略,如按域选秩、可训练权重修正,而非简单的均匀平均;二是平均在非传统场景中的角色,如成员推断攻击中的贝叶斯后验替代、持续学习优化器中的梯度平均,以及机器人策略检查点选择中的累积评分;三是平均与推理预算的权衡,提醒研究者在资源受限时需审慎选择平均对象。整体来看,平均仍是提升模型可靠性的低成本手段,但其有效性越来越依赖于对数据分布和任务结构的理解。