#zeroth-order optimization

6 stories · 0 in 7 days · 0 in 30 days

Stories, products and papers tagged "zeroth-order optimization", newest first.

Oct 13

一篇优化理论新论文，处理一半梯度拿不到、得靠函数值猜的场景，复杂度界和实验都给全了，做双层优化或 performative 学习的可以看看。

arXiv cs.LG@El Mahdi Chayti et al. (3)Source

Sep 30

新方法1.5-SPSA让零阶训练比传统方法快1000倍，OPT-13B只需70步就超越MeZO 10万步效果。

arXiv cs.LG@Francois Chaubard et al. (3)Source

Sep 17

This research provides a new method for aligning large language models with human preferences, which is a key challenge in AI development.

arXiv cs.AI@Peter Chen et al. (4)Source

Jul 2

ZO-Act用激活信息锁定关键子空间，让零阶微调更稳定，在Llama-3和OPT-13B上都比旧方法强，适合显存受限的场景。

arXiv cs.LG@Xun Dong et al. (6)Source

May 28

PapersSelected72°12:00

做LLM微调优化的团队终于可以省下GPU时间了——把ZO微调当推理跑，vLLM直接提速8倍，建议做低成本微调的人点开看看实现细节。

arXiv cs.LG@Zelin Li, Caiwen DingSource

May 20

PapersSelected10:18

解决了零阶优化与高秩LoRA结合时的信号坍缩问题，做大模型微调且受限于显存的开发者可以直接用AR1-ZO方法提升效果。

arXiv cs.AI@Ziye Chen et al. (6)Source