SFT 相关 AI 资讯 · AI 热点

8月19日

11:42

11:42

官方一手arXiv: OpenAI@Ayoub Kirouane, Christos Petrocheilos

研究对三个前沿专家混合模型（阿里巴巴、OpenAI、NVIDIA，3.6-4.0B参数）进行微调，使其在低资源语言中推理。准确率基准显示几乎无变化，基准本身存在噪声（随机种子变动导致分数变化7.7点）。基础模型从不使用希腊语思考（0/1000推理轨迹），而SFT后98%的推理使用问题语言，且四个模型的语法判断均有提升。SFT无法修复自身缺陷，但强化学习可显著改善格式跳过和答案泄漏问题。

论文 SFT RL 低资源语言

推荐理由：论文揭示SFT和RL如何让模型真正用低资源语言思考，而非表面准确率提升，还发布了五个实用检查点。

7月22日

08:52

08:52

Fireworks AI@FireworksAI_HQ

精选

MiniMax M3 模型现已可在 Fireworks 上进行训练。用户可通过托管 LoRA SFT 和 DPO 进行标准微调。Fireworks 还提供 Training API，支持自定义 SFT、DPO 和 RL 训练循环，包含检查点、滚动推理和适配器热加载功能。

AI模型 MiniMax M3 Fireworks LoRA

推荐理由：想 Fine-tune MiniMax M3 的话，Fireworks 现在直接支持 LoRA 和 DPO，还能自定义 RL 训练，省事不少。

7月21日

18:37

18:37

Geek@geekbb

精选

该教程逐行解析 MiniMind 源码，涵盖 Tokenizer、模型结构、预训练、SFT、DPO、PPO、GRPO 共 10 章内容，每章标注对应源码文件和函数名。附录17篇进阶文章补充量化、投机解码、RLHF 等 MiniMind 未涉及的主题。适合希望从代码层面理解大模型全流程的读者。

技巧 MiniMind 源码预训练

推荐理由：想用代码搞懂大模型训练全流程？这个教程把 MiniMind 的源码一行行讲透，从 Tokenizer 到 GRPO 都有，还附赠量化、RLHF 等进阶知识。

6月29日

19:47

19:47

eric zakariasson@ericzakariasson

73°

Elon Musk在推文中透露，Cursor团队为v9模型的SFT和RL训练做出了重要的工程贡献。当前1.5T参数量的模型已通过补充训练加入Cursor数据。而两周前开始的2T参数量训练在数据范围和规模上大幅改进，训练配方也获得多项升级，预计7月底完成，8月发布。

AI模型 Elon Musk Cursor v9

推荐理由：Elon Musk说他们和Cursor团队合作训练v9模型，2T参数量的版本数据更全，8月就能见到，值得关注。

6月25日

10:40

10:40

官方账号arXiv cs.LG@Yupu Hao, Zhuoran Jin, Huanxuan Liao, Kang Liu, Jun Zhao

该论文通过实验发现，多步工具使用强化学习（RL）训练中，模型可出现灾难性崩溃，性能骤降且工具调用结构失效。根本原因是特定控制token概率突增，但基础工具使用能力并未丢失。研究者系统探索了离策略监督、提示引导、错误示例等多种监督信号，并比较了同步与交错训练方案。结果表明，将监督微调（SFT）与RL交错进行可显著提升稳定性，但在格式和内容分布外（OOD）评估中性能下降。该工作揭示了RL失败机理，并展示了多样化监督信号对鲁棒训练的价值。

论文 LLM 强化学习工具使用

推荐理由：这篇论文分析了多步工具RL训练容易崩溃的原因，并实验证明交错SFT与RL能有效提升稳定性，对做智能体RL的人很有参考价值。

05:58

05:58

Fireworks AI@FireworksAI_HQ

Fireworks AI 宣布其平台现支持对开源编码模型 GLM 5.2 进行微调，涵盖 SFT、DPO 和 RL 三种方法。GLM 5.2 在多个编码基准上表现强势，但 Fireworks 指出排行榜赢家未必适合你的代码库，微调可缩小差距。训练后的模型可直接在同一生产栈上提供服务，无需切换或迁移。早期客户反馈热烈，目前开放私测申请。

AI产品 GLM 5.2 Fireworks SFT

推荐理由：想用最强开源编码模型但通用版不顺手？Fireworks 让你微调 GLM 5.2，SFT/DPO/RL 全包，训练完直接上线，不用折腾。

6月19日

09:53

09:53

官方账号arXiv cs.LG@Ali Asaria, Tony Salomone, Deep Gandhi

论文使用Qwen2.5-7B-Instruct对比了零样本、仅SFT、仅RAG和SFT+RAG混合四种方法在安大略住宅租赁法条文引用上的效果。混合方法以0.481精确匹配（节+条）取得最高分，且将幻觉降至零。SFT提升了高召回候选集中条款选择的鲁棒性，而仅用bge-small嵌入就超越了更大专用检索模型。扩大训练集未带来提升，0.70目标尚未达到。

论文 Qwen2.5-7B RAG SFT

推荐理由：这篇论文用Qwen2.5-7B做了个四路对比，发现微调加检索混合方案在法条引用上精确匹配0.481还零幻觉，比纯微调或纯检索都强，而且用轻量bge-small就够用。

6月18日

09:22

09:22

官方一手arXiv: DeepSeek@Siddharth Aphale, Kelly Liu

一项研究分析了SFT（监督微调）的过度训练对RLVR（基于强化学习的验证）训练的影响。使用Qwen2.5-Coder-3B和DeepSeek-Coder-6.7B模型，发现SFT深度增加时，预RL的pass@1上升，但GRPO的pass@10从0.806降至0.481（3种子均值，n=20）。预RL熵与GRPO结果正相关（ρ=+0.69）。研究者提出一个两阶段诊断方法，结合预RL熵筛选和早期GRPO熵监控，可标记高风险检查点。简单KL正则化和标签平滑无法挽救已崩溃的检查点。

论文 Qwen2.5-Coder-3B DeepSeek-Coder-6.7B SFT

推荐理由：这篇论文发现了SFT过训练会搞崩GRPO训练的秘密，还给出了诊断方法来提前止损。做RLHF或强化学习训练的可以看看。

6月16日

10:49

10:49

官方一手arXiv: DeepSeek@Ke Miao, Jiaxin Li, Hongliang Chen, Yuke Hu, Zhan Qin

论文Safe Trigger提出利用大推理模型(LRM)自身的潜在安全意识进行安全对齐，无需外部人工标注。该方法先使用监督微调(SFT)为不安全查询注入安全标签触发安全分析，对一般查询保持原响应实现自适应；再通过直接偏好优化(DPO)提升安全分析的稳定性。实验显示，DeepSeek-R1-Distill-Llama-8B在有害和越狱基准上的攻击成功率(ASR)平均下降24.65%和36.72%，且通用性能几乎不受影响。

论文 Safe Trigger DeepSeek-R1 大推理模型

推荐理由：这篇论文发现LRM自己就能识别风险，用SFT+DPO触发安全分析，让DeepSeek-R1的越狱成功率高降36%，还不用外部数据，挺实用的。

6月1日

10:36

10:36

官方账号arXiv cs.AI@Qing Wang, Jacob Devasier, Chengkai Li

本文首次系统研究了掩码扩散语言模型（MDLM）在图到文本生成中的解码轨迹，发现MDLM会优先解码实体，然后是关系词和功能词，最后才是结构词，这与自回归模型的线性生成方式不同。研究还发现监督微调（SFT）会破坏这一策略，过早固定结构词导致输出长度固定，引发信息遗漏或幻觉。为此，作者提出了一种无需训练的推理时修改方法——lambda缩放结构解码，将BLEU-4提升9.4分。最后，他们提出了Graph-LLaDA，将图Transformer编码器集成到LLaDA的解码过程中，显式利用关系图结构。跨数据集评估表明，基于LLM和MDLM的方法泛化能力显著优于传统基线。

论文扩散模型图到文本生成解码轨迹

推荐理由：这篇论文揭示了扩散模型在图到文本任务中的独特解码机制，做结构化文本生成或知识图谱相关工作的开发者值得关注，尤其是SFT反而有害的发现可能改变你的微调策略。

5月16日

21:49

21:49

向阳乔木@vista8

本文用简洁的图示对比了三种主流大语言模型后训练技术：SFT（监督微调）让模型学会遵循指令；DPO（直接偏好优化）使输出更符合人类偏好；GRPO（群体相对策略优化）进一步激发模型的推理和思考能力。三者在训练目标和方法上层层递进，是当前LLM对齐和增强推理能力的关键技术路径。对于想了解模型训练流程或优化模型输出的开发者，这是一份直观的入门参考。

AI模型 LLM 后训练 SFT

推荐理由：想搞懂LLM后训练技术栈的开发者，这张图帮你三分钟理清SFT、DPO、GRPO的关系和演进逻辑，建议收藏。