FreeStyle:基于社区LoRA挖掘的风格-内容双参考生成框架

FreeStyle: Free Control of Style-Content Dual-Reference Generation from Community LoRA Mining

精选理由

想同时控制图片风格和内容?FreeStyle用社区LoRA搞定双参考生成,还自带防泄漏机制,比以往方法更稳。

AI 摘要

FreeStyle提出一种基于社区LoRA挖掘的可扩展双参考生成框架,利用社区LoRA作为风格和内容的组合锚点,构建大规模三元组数据(风格参考和内容参考)。采用两阶段课程,包括注意力级富集约束抑制风格参考泄漏,以及频率感知RoPE调制解决位置对应泄漏。引入新基准,包含风格不变内容对齐分数(CAS)和基于VLM的拒绝分数。实验表明,FreeStyle在风格对齐、内容保持和泄漏抑制之间取得强平衡。

AI 翻译 · 中文

FreeStyle提出一种基于社区LoRA挖掘的可扩展双参考生成框架,利用社区LoRA作为风格和内容的组合锚点,构建大规模三元组数据(风格参考和内容参考)。采用两阶段课程,包括注意力级富集约束抑制风格参考泄漏,以及频率感知RoPE调制解决位置对应泄漏。引入新基准,包含风格不变内容对齐分数(CAS)和基于VLM的拒绝分数。实验表明,FreeStyle在风格对齐、内容保持和泄漏抑制之间取得强平衡。

arXiv cs.AIStyle-content dual-reference generation aims to synthesize an image that preserves the structure and semantics of a content reference while adopting the style of a separate style reference.Despite recent progress, this s