AITOP
精选
过去 24 小时，从 655 条中筛出 45 条
全部模型产品行业论文技巧
标签：零阶优化×
6月11日
15:28
15:23
15:07
6月1日
00:09
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？
5月28日
12:00
12:00arXiv cs.LG@Zelin Li, Caiwen Ding
精选72°
研究发现，大语言模型的零阶（ZO）微调本质上是推理密集型负载，而非传统训练。现有实现将ZO算法运行在训练循环中，导致工作负载与运行时的不匹配。研究者通过将ZO微调的重复评分阶段部署在推理运行时（如vLLM）上，在OPT-13B模型上实现了8.13倍加速，且精度几乎无损。该方法在多个模型规模下获得2.34-7.72倍加速，并支持MeZO风格的高秩分解实验。这项工作为将轻量级适配作为推理类负载调度提供了实用路径。
论文零阶优化微调推理优化vLLM大语言模型
推荐理由：做LLM微调优化的团队终于可以省下GPU时间了——把ZO微调当推理跑，vLLM直接提速8倍，建议做低成本微调的人点开看看实现细节。
原文
5月20日
10:18
10:18arXiv cs.AI@Ziye Chen, Hongbin Lin, Chenyu Zhang, Xiangda Yan, Yongjie Yang, Yao Shu
精选
零阶优化（ZO）无需存储反向传播激活即可微调大模型，而LoRA提供紧凑的可训练适配器。但两者结合存在秩悖论：增加LoRA秩会提升适配器容量，但标准两点ZO要么扰动依赖秩的坐标数，要么在原子更新下使有限差分信号不可观测。本文证明瓶颈是测量拓扑问题，而非需要外部子空间。LoRA已分解为匹配的秩1原子，每个原子是一个完整因子坐标块。AR1-ZO通过交替秩1原子查询和拓扑感知缩放，恢复秩不变的有效信号，无需辅助基、激活钩子、曲率估计或额外前向查询。实验表明，在标准两前向查询预算下，AR1-ZO使高秩LoRA在匹配预算的ZO方法中有效。
论文零阶优化LoRA大模型微调拓扑感知秩1查询
推荐理由：解决了零阶优化与高秩LoRA结合时的信号坍缩问题，做大模型微调且受限于显存的开发者可以直接用AR1-ZO方法提升效果。
原文