持续运动-语言智能体:LoRA变体用于增量运动理解与生成

Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation

精选理由

这篇论文提出用LoRA和混合专家架构让智能体不断学新动作而不忘旧的,5任务基准上几乎零遗忘,值得做持续学习或运动生成的看看。

AI 摘要

本研究提出基于冻结大语言模型和LoRA变体的持续学习方法,使运动-语言智能体能在不遗忘旧知识的情况下增量学习新动作概念。采用混合专家架构和基于自编码器的路由器在推理时选择任务特定专家,无需任务标签。在从HumanML3D导出的5任务基准上,该方法在运动到文本(M2T)和文本到运动(T2M)两个方向上实现了近乎零遗忘,且保持高质量生成与描述。实验表明硬专家选择在质量指标上显著优于软专家混合,专家隔离对持续学习性能至关重要。

AI 翻译 · 中文

本研究提出基于冻结大语言模型和LoRA变体的持续学习方法,使运动-语言智能体能在不遗忘旧知识的情况下增量学习新动作概念。采用混合专家架构和基于自编码器的路由器在推理时选择任务特定专家,无需任务标签。在从HumanML3D导出的5任务基准上,该方法在运动到文本(M2T)和文本到运动(T2M)两个方向上实现了近乎零遗忘,且保持高质量生成与描述。实验表明硬专家选择在质量指标上显著优于软专家混合,专家隔离对持续学习性能至关重要。

arXiv cs.LGMotion-language agents must possess the bidirectional capability to both understand human movement (motion-to-text, M2T) and generate it from natural language (text-to-motion, T2M). While foundational models have achieve