Gemma-3 相关 AI 资讯 · AI 热点

7月6日

12:36

12:36

官方一手marktechpost@Sana Hassan

精选

该教程展示了如何用Tunix框架和GRPO算法微调Gemma-3模型在GSM8K数学数据集上。首先配置环境并通过Hugging Face加载Gemma-3，将样本包装为推理加答案格式。定义格式正确性和数值正确性的奖励函数，并附加LoRA适配器以降低训练成本。最终通过GRPO分组采样改进策略，并导出合并后的模型。

技巧 Gemma-3 GSM8K GRPO LoRA 微调

推荐理由：手把手教你用Tunix GRPO和LoRA微调Gemma-3做GSM8K数学题，奖励函数设计得很清楚。

7月2日

10:07

10:07

官方账号arXiv cs.LG@Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

精选

论文提出 LOCOS（Logit-Contribution Scoring），一种写感知的注意力头检测方法。在 Qwen3、Gemma-3、OLMo-3.1 三个模型家族上，平均消融 LOCOS 选出的 top 头后，在 NoLiMa 非字面检索基准上 ROUGE-L 下降比之前基于注意力的检测方法更快。以 Qwen3-8B 为例，消融 50 个头使 ROUGE-L 从 0.401 降至 0.000，而最强基线仍保留 0.292。同一消融在 MuSiQue 上从 0.55 降至 0.08，在 BABI-Long 上从 0.62 降至 0.20，而随机头消融偏差在 0.05 以内。所选头是检索专用的，参数回忆和算术推理保持在基线水平。

论文 LOCOS Qwen3 Gemma-3 OLMo-3.1 非字面检索注意力头

推荐理由：这篇论文告诉你怎样用 LOCOS 找出模型里真正干活的注意力头，在长上下文检索任务上效果拔群，比旧方法准很多。