论文精选

SeqLoRA:双层正交适配实现持续多概念生成

SeqLoRA: Bilevel Orthogonal Adaptation for Continual Multi-Concept Generation

精选理由

做多概念图像生成的团队终于有了一个兼顾保真度和可扩展性的方案——SeqLoRA 用双层优化解决了 LoRA 的干扰问题,支持上百个概念组合,做个性化扩散模型的开发者值得一试。

AI 摘要

SeqLoRA 是一种针对文本到图像扩散模型的高效微调方法,解决了多概念组合生成中的表示干扰问题。现有模块化方法要么依赖昂贵的后处理融合,要么冻结适配子空间,限制了表达力和概念保真度。SeqLoRA 通过双层优化联合优化两个 LoRA 因子,并建立强收敛保证,从理论上证明学习 LoRA 基比固定基方法更有效减少干扰。实验显示,SeqLoRA 在多达 101 个概念上提升了身份保持和可扩展性,无需昂贵融合,减少了属性干扰。

AI 翻译 · 中文

SeqLoRA 是一种针对文本到图像扩散模型的高效微调方法,解决了多概念组合生成中的表示干扰问题。现有模块化方法要么依赖昂贵的后处理融合,要么冻结适配子空间,限制了表达力和概念保真度。SeqLoRA 通过双层优化联合优化两个 LoRA 因子,并建立强收敛保证,从理论上证明学习 LoRA 基比固定基方法更有效减少干扰。实验显示,SeqLoRA 在多达 101 个概念上提升了身份保持和可扩展性,无需昂贵融合,减少了属性干扰。

arXiv cs.LGParameter-efficient fine-tuning enables fast personalization of text-to-image diffusion models, but composing multiple custom concepts remains challenging due to representation interference. Existing modular methods eith