12:25
官方账号arXiv cs.LG@Iosif Lytras, Nikolaos Makras, Sotirios Sabanis
精选
推荐理由：新采样算法SG-TULA能处理非光滑非凸问题，在GPT-2预训练上干赢了AdamW和Muon，还带理论保证。
SG-TULA
共 1 条相关 AI 资讯
8月7日
12:25
研究者提出次梯度驯化非调整朗之万算法（SG-TULA），用于处理势函数非光滑、超线性梯度增长且非凸的采样问题。该算法直接操作次梯度，无需计算昂贵的平滑步骤，并采用驯化技术保证显式格式稳定。在Wasserstein-2距离下推导了非渐近收敛界，所有常数随维度和逆温度显式给出，优于现有次梯度类朗之万算法。作者在GPT-2系列LLM的正则化预训练势上验证了假设，并展示SG-TULA的坐标提升变体在预训练中可与微调后的AdamW和Muon竞争。