#bilevel optimization

8 stories · 0 in 7 days · 1 in 30 days

GALET 1 GPT-2 1 performative prediction 1 PISO 1 optimization algorithms 1 papers 1 zeroth-order optimization 1

Stories, products and papers tagged "bilevel optimization", newest first.

Oct 20

Papers12:49

Chinese contentNewton 双层优化新方法：摆脱下层强凸性限制

双层优化以前要求下层强凸，这篇给了两个 Newton 方法放宽到 Hessian 奇异也能跑，还拿 GPT-2 数据重加权做了实验，搞优化的可以看看。

#bilevel optimization #GALET #GPT-2 #optimization algorithms

arXiv cs.LG@Youran Dong et al. (4)Source

Oct 13

Papers Builders02:55

Chinese contentarXiv 新论文提出 PISO：零阶残差追踪应对部分梯度不可见优化

一篇优化理论新论文，处理一半梯度拿不到、得靠函数值猜的场景，复杂度界和实验都给全了，做双层优化或 performative 学习的可以看看。

#zeroth-order optimization #PISO #bilevel optimization #performative prediction

arXiv cs.LG@El Mahdi Chayti et al. (3)Source

Aug 12

Papers18:12

Chinese content高效超梯度下降法用于逆强化学习

这篇论文给IRL的超梯度计算找了个巧妙的捷径，用Fisher矩阵和谱草图省下大量算力，做强化学习的朋友可以看看。

#inverse reinforcement learning #Fisher information matrix #bilevel optimization

arXiv cs.LG@Nikita Sevriukov et al. (7)Source

Aug 10

PapersSelected10:51

Chinese content超越事后温度缩放：用于LLM校准的双层优化

这篇arxiv论文提出用双层优化做LLM校准，不靠事后温度缩放，在开放问答上分布外泛化更稳。

#bilevel optimization #out-of-distribution generalization

arXiv cs.LG@Ruochen Jin et al. (5)Source

Jul 28

Papers10:56

Chinese contentSpecAHD：面向大规模路径规划问题的自动启发式设计框架

这篇论文用双层优化让LLM自动写出针对不同区域的启发式规则，在多个大规模路由问题上比现有方法好57%，还有理论保证，值得一看。

#SpecAHD #LLM #bilevel optimization

arXiv cs.AI@Kezhao Lai et al. (3)Source

May 27

PapersSelected10:51

Chinese content多样性可检测性：单次运行隐私审计的改进金丝雀生成方法

做隐私审计或差分隐私研究的团队，这篇论文直接解决了单次运行审计中金丝雀干扰的痛点，提出的方法计算效率高且效果更好，值得点开看具体实现。

#privacy audits #differential privacy #bilevel optimization #influence functions

arXiv cs.LG@Mathieu Dagréou, Aurélien BelletSource

May 22

PapersSelected11:35

Chinese contentSeqLoRA：双层正交适配实现持续多概念生成

做多概念图像生成的团队终于有了一个兼顾保真度和可扩展性的方案——SeqLoRA 用双层优化解决了 LoRA 的干扰问题，支持上百个概念组合，做个性化扩散模型的开发者值得一试。

#LoRA #diffusion models #continual learning #bilevel optimization

arXiv cs.LG@Javad Parsa et al. (5)Source

May 11

Papers11:44

Chinese content双层极小极大优化：罚函数一阶方法新突破

该工作从理论上攻克了下层为极小极大结构这一长期难点，提出的罚函数框架简洁优雅，且对凸约束问题实现了复杂度数量级改进，将推动智能体对抗训练、多任务学习等领域的实际算法设计。

#bilevel optimization

arXiv cs.LGSource