Chinese contentGEAR：用切向-法向分解改进 LoRA 动态秩分配
GEAR 这个新微调方法把 LoRA 动态秩问题做成了几何问题，参数只用三分之一，分数还涨了近 2 分，搞微调的可以看看。
#GEAR
2 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "GEAR", newest first.
Nov 6
Jul 22
Papers13:00
Chinese contentGEAR：证据感知奖励减少长上下文推理重复复制这篇论文发现了LLM长上下文推理时爱复制原文的毛病，用GEAR奖励方法逼模型关注关键证据，效果立竿见影，适合做RL调优的参考。