13:14
官方一手arXiv: DeepSeek@Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang
精选
推荐理由：用少量梯度找方向，再用ES在子空间里搜，省资源还比GRPO-LoRA高1个点，有代码。
Hyper-ES
共 1 条相关 AI 资讯
8月7日
13:14
Hyper-ES提出用少量梯度微调获取下降方向，再在低维子空间内用CMA-ES优化逐层DARE-TIES合并系数，避免在高维参数空间中随机扰动失效。研究在Qwen2.5-Instruct和DeepSeek-R1-Distill三个骨干上测试六个数学推理数据集。结果显示，Hyper-ES相比GRPO-LoRA平均提升1%，同时减少10%的梯度更新。代码已开源在GitHub。