#零阶优化

共 5 条 · 7 天 0 条 · 30 天 2 条

信息流里打上「零阶优化」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月30日

新方法1.5-SPSA让零阶训练比传统方法快1000倍，OPT-13B只需70步就超越MeZO 10万步效果。

arXiv cs.LG@Francois Chaubard 等 3 人原文

9月17日

朋友，这篇论文提出了一种叫ComPO的新方法，能更高效地让大模型符合人类偏好，比传统方法效果更好。

arXiv cs.AI@Peter Chen 等 4 人原文

7月2日

ZO-Act用激活信息锁定关键子空间，让零阶微调更稳定，在Llama-3和OPT-13B上都比旧方法强，适合显存受限的场景。

arXiv cs.LG@Xun Dong 等 6 人原文

5月28日

论文精选72°12:00

做LLM微调优化的团队终于可以省下GPU时间了——把ZO微调当推理跑，vLLM直接提速8倍，建议做低成本微调的人点开看看实现细节。

arXiv cs.LG@Zelin Li, Caiwen Ding原文

5月20日

论文精选10:18

解决了零阶优化与高秩LoRA结合时的信号坍缩问题，做大模型微调且受限于显存的开发者可以直接用AR1-ZO方法提升效果。

arXiv cs.AI@Ziye Chen 等 6 人原文