#SFT

共 24 条 · 7 天 4 条 · 30 天 8 条

微调 8 Fireworks 2 GRPO 2 RL 2 RLHF 2 开源模型 2 强化学习 2 预训练 2

信息流里打上「SFT」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月7日

技巧 Agent 与开发者06:07

Fireworks 开源 9B 分类器微调配方：纯 SFT 加两个技巧

Fireworks 的人微调了个 9B 分类器，只用 SFT 和两个小技巧，配方全开源，不用大预算自己也能跑。

#Fireworks #微调 #SFT #分类器

Fireworks AI@FireworksAI_HQ原文

10月6日

论文 Agent 与开发者精选10:38

Off-Policy Merging 持续学习方法超越 On-Policy 自蒸馏

做模型持续训练的必看：不用贵的 on-policy 采样，靠 grafting 三步就能加新能力还不忘旧本事，比 SFT 和 OPSD 都强。

#模型合并 #SFT #STaR #持续学习

arXiv cs.AI@Chen Henry Wu 等 3 人原文

10月5日

论文 Agent 与开发者20:45

研究用强化学习视角解释 On-policy Distillation 崩溃成因

把 OPD 训练崩溃讲透了，还给了屏蔽坏响应和 SFT 初始化两个可上手的缓解办法，做蒸馏的人快看。

#On-policy Distillation #reward hacking #SFT #强化学习

arXiv cs.AI@Han Cui 等 6 人原文

论文19:34

LESSER：用输出层梯度做后训练数据选择，成本降低最多9.7倍

做微调的朋友可以看看：LESSER 只用输出层梯度就能做数据选择，SFT 成本砍到近十分之一，效果不掉，还提供了 drop-in 接口。

#数据选择 #微调 #SFT #RLHF

arXiv cs.LG@Lyuxin David Zhang 等 4 人原文

10月2日

论文 Agent 与开发者11:10

微调与采样：SFT比想象中更有效

这篇论文提出了一种新采样方法，让SFT微调效果出奇地好，在多个任务上超过了传统RL方法。

#SFT #微调 #MCMC #后训练

arXiv cs.AI@Aayush Karan 等 3 人原文

9月29日

论文 Agent 与开发者15:02

FIRE 框架解决 LLM 自蒸馏训练中的性能崩塌问题

这篇论文讲的是让 LLM 从自身输出学习时怎么防止训练崩掉，用 Fisher 信息来控制每一步调整多远，做训练优化的可以看看。

#LLM #自蒸馏 #微调 #FIRE

arXiv cs.LG@Seohyun Lee 等 4 人原文

9月25日

技巧 Agent 与开发者01:38

训练数据检查工具怎么选：SFT 轨迹与 RL 环境任务

训练 SFT 或 RL 的人都会遇到这个问题：轨迹数据太乱没法看，评论区有几款工具可以参考。

#SFT #RL环境 #数据标注 #微调

Suhail@Suhail原文

9月13日

技巧 Agent 与开发者精选78°08:22

HuggingFace公开训练智能体系列视频及代码

HuggingFace团队做的，教你怎么从SFT到RL训练智能体，比单纯看理论更实用，适合想动手的开发者。

#HuggingFace #智能体 #RL训练 #SFT

shao__meng@shao__meng原文

9月9日

论文 Agent 与开发者11:15

预训练与SFT检查点质量研究

论文揭示了训练流程中检查点选择的关键问题，对大模型训练实践有重要指导意义。

#混合专家 #预训练 #SFT #解决方案密度

arXiv cs.AI@Sohir Maskey 等 5 人原文

9月7日

论文 Agent 与开发者精选73°09:22

统一ICL、SFT和KL正则化RL的贝叶斯视角

DeepSeek研究员发表的论文，揭示了不同LLM训练方法背后的统一理论，解释了为什么冷启动监督预热对KL投影至关重要。

#贝叶斯 #RLHF #SFT #ICL

arXiv: DeepSeek@Junxin Fan原文

9月2日

论文精选73°10:13

大模型SFT-RL标注预算分配研究

研究人员发现小模型实验就能确定可转移的近最优区域，无需大规模搜索，大幅降低大模型训练成本。

#SFT #RL #大模型 #标注预算

arXiv cs.LG@Jingtan Wang 等 7 人原文

8月31日

论文精选73°09:33

VERA-8B：基于证据的审计风险推理模型

VERA-8B是首个专门针对审计风险预测的模型，能将SEC文件转化为可审计报告，比传统金融语言模型更注重证据支持。

#VERA-8B #审计推理 #SEC文件 #SFT

arXiv cs.AI@Menghan Liu, Elynn Chen原文

8月28日

论文精选73°18:08

SWE-Prime：更少轨迹，更好性能

SWE-Prime用10%数据训练就能超越全数据效果，解决了软件工程领域模型训练数据质量低的问题。

#SWE-Prime #SFT #SWE-Bench #软件工程

arXiv cs.AI@Dewu Zheng 等 10 人原文

8月19日

论文多源确认11:42

低资源语言中的思考：SFT构建、RL修复与准确率盲区

论文揭示SFT和RL如何让模型真正用低资源语言思考，而非表面准确率提升，还发布了五个实用检查点。

#SFT #RL #低资源语言 #推理模型

事件专题

arXiv: OpenAI@Ayoub Kirouane, Christos Petrocheilos11 个信源在谈原文

7月22日

模型中美对照精选08:52

MiniMax M3 模型在 Fireworks 平台开放训练

想 Fine-tune MiniMax M3 的话，Fireworks 现在直接支持 LoRA 和 DPO，还能自定义 RL 训练，省事不少。

#MiniMax M3 #Fireworks #LoRA #SFT

Fireworks AI@FireworksAI_HQ原文

7月21日

技巧 Agent 与开发者精选18:37

精读 MiniMind 源码，从具体实现搞懂大模型技术体系

想用代码搞懂大模型训练全流程？这个教程把 MiniMind 的源码一行行讲透，从 Tokenizer 到 GRPO 都有，还附赠量化、RLHF 等进阶知识。

#MiniMind #源码 #预训练 #SFT

Geek@geekbb原文

6月29日

模型 Agent 与开发者多源确认73°19:47

Musk称Cursor团队贡献工程，v9模型2T训练将于8月发布

Elon Musk说他们和Cursor团队合作训练v9模型，2T参数量的版本数据更全，8月就能见到，值得关注。

#Elon Musk #Cursor #v9 #SFT

事件专题

eric zakariasson@ericzakariasson6 个信源在谈原文

6月25日

论文10:40

多步工具使用强化学习为何崩溃及监督信号如何修复

这篇论文分析了多步工具RL训练容易崩溃的原因，并实验证明交错SFT与RL能有效提升稳定性，对做智能体RL的人很有参考价值。

#LLM #强化学习 #工具使用 #SFT

arXiv cs.LG@Yupu Hao 等 5 人原文

产品 Agent 与开发者05:58

Fireworks 支持微调开源编码模型 GLM 5.2（SFT/DPO/RL）

想用最强开源编码模型但通用版不顺手？Fireworks 让你微调 GLM 5.2，SFT/DPO/RL 全包，训练完直接上线，不用折腾。

#GLM 5.2 #Fireworks #SFT #DPO

Fireworks AI@FireworksAI_HQ原文

6月19日

论文政策与合规09:53

训练、检索还是混合？安大略住宅租赁法引用的四臂对比

这篇论文用Qwen2.5-7B做了个四路对比，发现微调加检索混合方案在法条引用上精确匹配0.481还零幻觉，比纯微调或纯检索都强，而且用轻量bge-small就够用。

#Qwen2.5-7B #RAG #SFT #零幻觉

arXiv cs.LG@Ali Asaria 等 3 人原文

6月18日

论文09:22

SFT过度训练导致RLVR下熵崩塌与排名反转

这篇论文发现了SFT过训练会搞崩GRPO训练的秘密，还给出了诊断方法来提前止损。做RLHF或强化学习训练的可以看看。

#Qwen2.5-Coder-3B #DeepSeek-Coder-6.7B #SFT #RLVR

arXiv: DeepSeek@Siddharth Aphale, Kelly Liu原文

6月16日

论文10:49

Safe Trigger: 触发大推理模型的潜在安全意识实现自适应安全

这篇论文发现LRM自己就能识别风险，用SFT+DPO触发安全分析，让DeepSeek-R1的越狱成功率高降36%，还不用外部数据，挺实用的。

#Safe Trigger #DeepSeek-R1 #大推理模型 #AI安全

arXiv: DeepSeek@Ke Miao 等 5 人原文

6月1日

论文10:36

Graph-LLaDA：扩散模型在图到文本生成中优先解码实体，SFT反而破坏策略

这篇论文揭示了扩散模型在图到文本任务中的独特解码机制，做结构化文本生成或知识图谱相关工作的开发者值得关注，尤其是SFT反而有害的发现可能改变你的微调策略。

#扩散模型 #图到文本生成 #解码轨迹 #Graph-LLaDA

arXiv cs.AI@Qing Wang 等 3 人原文

5月16日

模型21:49

LLM后训练技术对比：SFT、DPO、GRPO一图看懂

想搞懂LLM后训练技术栈的开发者，这张图帮你三分钟理清SFT、DPO、GRPO的关系和演进逻辑，建议收藏。

#LLM #后训练 #SFT #DPO

向阳乔木@vista8原文