Multi-Objective(多目标优化)指的是在同一个决策或学习问题中同时兼顾多个相互冲突的目标,例如在模型压缩中平衡精度与推理速度、在机器人控制中权衡稳定性与效率,其核心挑战是寻找一组不可互相替代的帕累托最优解。近年来,这一框架已从传统进化算法扩展到大模型、强化学习和科学设计等多个前沿方向,成为 2025 年机器学习研究中出现频率明显上升的范式之一。
Multi-Objective 近期进展
在大模型落地侧,InferOpt: Constrained Multi-Objective Search for LLM Inference Configurations 来自 DeepSeek 团队,提出了带约束的多目标搜索方法,用于在延迟、吞吐和成本等指标之间自动选择最优的 LLM 推理配置;SliMOO: Interpretable Multi-Objective Evolutionary Search for LLM Depth Pruning 则将可解释的多目标进化搜索引入模型深度剪枝,在压缩率与性能损失之间做显式权衡。
在多目标强化学习(MORL)方向,多篇工作集中解决偏好引导与策略泛化问题:Preference-Guided Cooperation in Multi-Objective Multi-Agent Reinforcement Learning 研究多智能体场景下按偏好协调多个目标;Multi-Objective Reinforcement Learning Using Routed Ensembles and Trajectory Attribution 用路由集成与轨迹归因提升策略对不同偏好的适应能力。
科学应用同样活跃:动态语言模型表示用于多目标反应优化 将语言模型表示用于化学反应的多目标优化,MFG: Multi-turn Feedback Guided Molecular Optimization 通过多轮反馈引导分子优化,DiMOS: Doob-Guided Inference-Time Multi-Objective Search for Scientific Design 则把多目标搜索搬到推理阶段以服务科学设计。硬件层面,Transporting Unsecured Stacked Payloads with a Quadrupedal Robot via Multi-Objective Reinforcement Learning 展示了四足机器人在搬运任务中同时优化多项性能指标的可行性。
当前焦点与观察点
综合来看,Multi-Objective 方法近期的讨论集中在三个方向。其一是与大模型工程的结合:无论是推理配置搜索还是结构剪枝,多目标框架正在替代单指标调优,成为自动化系统优化的常用工具。其二是多目标强化学习内部的方法分化,偏好引导、集成路由等路线并行发展,如何在训练成本与解集质量之间取得平衡仍是开放问题。其三是向化学、材料等科学领域的渗透,推理时搜索(如 Doob 引导方法)显示了无需重训模型即可做多目标权衡的可能性。
值得观察的争议点在于:多目标方法普遍计算开销较大,帕累托前沿的评估也缺乏统一基准,实际收益是否匹配其复杂度仍待更多应用验证。随着自动化调优工具链成熟,这一领域预计会进一步从学术研究走向工业实践。