#微调

把一份文档直接编译成 LoRA 权重，284B 的 DeepSeek v4 Flash 也能用，top-1 准确率从 63.4% 拉到 84.9%

论文教你看 agent 失败原因来决定改运行时框架还是微调模型，Qwen3.5 上从 0.16 拉到 0.30，做 agent 的都该看看这套诊断方法。

一篇 MoE 训练论文：把固定 top-k 换成在 k 附近随机采样，Qwen3-30B-A3B 微调能多拿 2 分，推理成本不变。

训练完 RL 模型想追查是哪条数据教会它某个行为？这篇直接证明现有归因方法大多被梯度大小和流畅度这类干扰项骗了，还给了套评测清单。

一篇挺有意思的机制分析：模型微调后"忘了"的东西其实还在，删掉一个方向就能捞回来，做微调的值得看看原理。

研究者跑了 1000 多次实验，测小模型学 ARC 网格推理到底靠不靠谱，结论是换个网格大小就崩，做微调的朋友可以看看避坑。

把 LoRA 搬到边缘设备上跑 CNN，激活内存砍掉九成多，做端侧学习的人可以看看具体做法。

微调 VLM 的朋友看这个：不同能力峰值时间不同，挑 checkpoint 的标准可能让你丢掉可迁移能力，SSR 方法能改善 name-free 检索。

训练偏好模型的老问题：DPO 训到后面梯度就没劲了。这篇把 sigmoid 因子当成可调信号来动态控制，三个基准上都比 DPO 强，搞对齐训练的可以看看实现思路。

Fireworks 的人微调了个 9B 分类器，只用 SFT 和两个小技巧，配方全开源，不用大预算自己也能跑。

Fireworks AI@FireworksAI_HQ原文

开源工具 Overmind 能把你的智能体运行轨迹整理成数据集，再训练一个小模型给你自己用，等于自己开一家小 AI 实验室。

elvis@omarsar0原文

给医学问答做了个按问题动态分配 LoRA 秩的微调方法，在 Qwen3-8B 上比 LoRA r16 高了 1 个多百分点，专科越多优势越大，做医疗方向微调的可以看看。

训练终端智能体的朋友看这篇：监督窗口选 12K 反而比 16K 好，还能省 30% 训练时间，作者给的选择性精调方法直接可用。

这篇论文给微调遗忘问题做了套几何理论，还造了个按单元的投影器，在 OPT-1.3b 上把 Adam-NSCL 的遗忘压到最多 4.3 倍更低，做持续学习的朋友可以看看。

训练时只见过陈述句的模型，换个问法就答不出同一个事实，这篇论文把原因定位到了 context state，做微调的值得看看。

做微调的朋友可以看看：LESSER 只用输出层梯度就能做数据选择，SFT 成本砍到近十分之一，效果不掉，还提供了 drop-in 接口。

千万级订阅的 YouTuber 亲自上手微调模型还做成视频，开源圈网友调侃他可以再激进一点开个实验室，挺有意思的一则动态。

Tanishq Abraham (论文推介)@iScienceLuvr原文

这篇论文提出了一种新采样方法，让SFT微调效果出奇地好，在多个任务上超过了传统RL方法。

OpenAI等五家前沿模型API评测，Invent-A-Dataset在零数据场景下生成高质量多样化数据集效果显著。

TACO优化器让大模型微调内存占用减少174倍，30B模型单卡就能训了

医学 AI 研究发现：用真实数据蒸馏微调的开源模型，能在单张消费级 GPU 上匹敌 GPT-4o 的放射报告提取能力。

这篇论文揭示了离策略微调的收敛特性，证明适当增大S值能避免陷入次优策略，对大语言模型后训练有重要指导意义。