AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：双层优化×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月27日
10:51
10:51arXiv cs.LG@Mathieu Dagréou, Aurélien Bellet
精选
该论文研究了机器学习模型隐私审计中的金丝雀（canary）生成问题，旨在通过单次训练运行高效评估隐私泄露。作者提出一种结合影响函数贪婪初始化与双层优化的方法，生成既高可检测又低干扰的金丝雀，通过促进嵌入空间多样性减少金丝雀间干扰。实验表明，该方法在更低计算成本下获得比现有方法更强的隐私泄露估计，为差分隐私审计提供了实用改进。
论文隐私审计差分隐私金丝雀生成双层优化影响函数
推荐理由：做隐私审计或差分隐私研究的团队，这篇论文直接解决了单次运行审计中金丝雀干扰的痛点，提出的方法计算效率高且效果更好，值得点开看具体实现。
原文
5月22日
11:35
11:35arXiv cs.LG@Javad Parsa, Enis Simsar, Amir Joudaki, Thomas Hofmann, André M. H. Teixeira
精选
SeqLoRA 是一种针对文本到图像扩散模型的高效微调方法，解决了多概念组合生成中的表示干扰问题。现有模块化方法要么依赖昂贵的后处理融合，要么冻结适配子空间，限制了表达力和概念保真度。SeqLoRA 通过双层优化联合优化两个 LoRA 因子，并建立强收敛保证，从理论上证明学习 LoRA 基比固定基方法更有效减少干扰。实验显示，SeqLoRA 在多达 101 个概念上提升了身份保持和可扩展性，无需昂贵融合，减少了属性干扰。
论文LoRA多概念生成扩散模型持续学习双层优化
推荐理由：做多概念图像生成的团队终于有了一个兼顾保真度和可扩展性的方案——SeqLoRA 用双层优化解决了 LoRA 的干扰问题，支持上百个概念组合，做个性化扩散模型的开发者值得一试。
原文
5月11日
11:44
11:44arXiv cs.LG（学术论文）
本文研究一类上下层均为极小极大结构的双层优化问题，提出了基于罚函数的一阶方法，无需下层问题满足强凸性假设。在确定性环境下，该方法以Õ(ε⁻⁴)的复杂度找到ε-KKT点；对于凸约束下层最小化问题（通过拉格朗日对偶转化），复杂度从现有Õ(ε⁻⁷)提升至Õ(ε⁻⁴）。在随机梯度场景下，方法以Õ(ε⁻⁹)的复杂度找到近似ε-KKT点。这一工作填补了双层优化与极小极大优化交叉领域的空白，为对抗训练、元学习等应用提供更高效的理论工具。
论文双层优化极小极大罚函数方法一阶优化凸约束
推荐理由：该工作从理论上攻克了下层为极小极大结构这一长期难点，提出的罚函数框架简洁优雅，且对凸约束问题实现了复杂度数量级改进，将推动智能体对抗训练、多任务学习等领域的实际算法设计。
原文