#second-order optimization

4 stories · 0 in 7 days · 0 in 30 days

Stories, products and papers tagged "second-order optimization", newest first.

Jul 3

PapersSelected09:07

PINNs一直跑不过传统方法，DSGNAR用二阶优化解决了问题，精度和速度都大幅提升，代码已开源，值得看看。

arXiv cs.LG@Joseph Webb et al. (3)Source

Jun 12

NLP安全研究者终于有了兼顾梯度与曲率的防御方法——S-GBT在词替换攻击下将认证鲁棒准确率提升23.4%，做文本对抗防御的团队值得关注。

arXiv cs.LG@Mohammed Bouri et al. (3)Source

May 18

PapersSelected12:09

多模态模型训练中模态竞争是常见痛点，做多模态预训练或大batch训练的团队可以直接参考这个二阶优化方案，能显著提升训练效率和稳定性。

arXiv cs.AI@Yishun Lu, Wes ArmourSource

PapersSelected72°10:36

Asteria 让二阶优化从理论走向实用，做大模型训练的团队可以大幅降低显存压力，同时保持收敛速度优势，值得关注其开源进展。

arXiv cs.LG@Yishun Lu et al. (4)Source