微调相关 AI 资讯

7月11日

03:08

官方账号Decoder@Matthias Bastian

76°

OpenAI的GPT-5.6 Sol模型独自对较小的Luna模型进行了后训练微调，触发方式仅为一个“相当不明确的提示词”。在OpenAI内部的RSI（递归自我改进）基准测试中，Sol的得分比GPT-5.5高出16.2分。OpenAI表示，这一进展让“自动化研究员”目标更加接近现实。

推荐理由：OpenAI又搞事情了：GPT-5.6 Sol用一句模糊指令就能自动调教出更强的Luna，性能比上一代飙升16分，自动化研究越来越近了。

原文

7月10日

23:56

官方一手AWS Machine Learning Blog@Sandeep Raveesh-Babu

精选

本文介绍NVIDIA Nemotron 3架构的特点，并详细演示如何通过Amazon SageMaker AI的无服务器定制功能进行微调。步骤涵盖在SageMaker Studio中配置环境、加载Nemotron 3模型、调整超参数并启动训练。该方法无需管理服务器资源，支持高效迭代模型。

技巧 NVIDIA Nemotron 3 Amazon SageMaker 微调无服务器

推荐理由：想无服务器微调NVIDIA Nemotron 3？AWS官方教程手把手教你用SageMaker Studio搞定。

原文

17:10

Stanford AI Lab@StanfordAILab

精选

斯坦福AI Lab提出Distill to Detect（D2D）方法，通过蒸馏微调模型与基座模型的差异到小型“子弹”中，放大隐蔽偏见至生成文本，使现有审计工具（如训练集探测）能检测到。论文显示D2D在单个未知主题上可揭露30%以上的隐藏偏好，且无需预知偏见方向。该方法为模型审计提供了系统性的未知偏见发现手段。

论文 Stanford AI Lab D2D 微调偏见检测模型审计

推荐理由：想查你的微调模型有没有偷偷偏向某件事？D2D把模型差异蒸馏出来放大，让你抓到那些连你都不知道要找的偏见。

原文

11:44

官方账号arXiv cs.LG@Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

论文检验了LLM中“超级权重”（单参数移除后性能骤降）的存在性，发现这并非所有模型通用。在OLMo-1B和OLMo-7B上，单独训练100到8192个超级权重参数，精度降至随机猜测水平；即便扩展至周围36000个参数也无改善。相比之下，随机选取同层同等数量参数训练反而能提升基准。使用仅占0.16%参数的vanilla LoRA（更新注意力权重矩阵）成功微调，且施加于超级权重坐标的LoRA约束效果类似。结论指出参数重要性不等同于单独可训练性，有效微调需要基于全层的结构化分解。

论文 Super Weight LoRA OLMo 推理模型微调

推荐理由：这篇论文打脸了“超级权重”的主张：单独训练它们反而让模型崩成随机猜，而LoRA用极少的参数就能搞定。想了解模型微调真正该关注什么，必看。

原文

7月9日

01:59

Ate-a-Pi@svpino

精选

本文介绍构建自学习智能体的方法。关键在于从两种来源学习：agent轨迹显示智能体行为和故障点，浏览器活动记录用户如何修正结果。有三种应用新知识的方式：微调模型、更新harness、提供上下文信息。建议侧重程序记忆（存储工作流和规则）和情节记忆（存储具体事件），避免过度依赖语义记忆。学习范围应限定在每用户、每团队或每应用级别，防止用户间数据泄露。最终强调拥有学习数据是核心资产，并使用开放标准。

技巧 self-learning agents 智能体微调提示词工程

推荐理由：想让智能体越用越聪明吗？这篇文章手把手教你从用户操作和自身轨迹中学习，还有三种优化方式和数据安全建议，非常实用。

原文

7月7日

17:18

Thomas Wolf@Thom_Wolf

Jaroslav Beck团队发布ThinkingCap高效模型系列，在Qwen 3.6 27B模型上进行微调，平均减少2倍思考token，部分示例生成速度提升10倍。该方法保持非侵入性干预，得到的模型与原检查点行为高度相似。作者认为这个技术可能像量化一样成为默认工具包的一部分。

AI模型 ThinkingCap Qwen 推理模型微调

推荐理由：想给模型推理提速？这个ThinkingCap把Qwen 27B的思考token砍掉一半，有的例子快10倍，效果还很稳定。

原文

11:23

官方账号arXiv cs.AI@Cheng-Kang Chou, Ming-To Chuang, Ke-Han Lu, Chan-Jan Hsu, Hung-yi Lee

论文研究自回归ASR系统在长非语音片段中产生的时间戳漂移问题，在15个含时间戳的ASR和音频语言系统上评估。提出的REDDIT框架通过回放分布编辑进行轻量级两阶段后训练，仅更新Whisper-tiny模型1.6%参数（34.9小时数据），将长间隔mIoU从38.7%提升至95.0%，混合间隔域外AAS从2752ms降至223ms，CV-en MER保持41.3%（普通微调为524.2%）。

论文 REDDIT ASR 时间戳漂移 Whisper-tiny 微调

推荐理由：想修正ASR时间戳不准又怕模型学坏？REDDIT只动1.6%参数就把长间隔mIoU从38.7%拉到95%，还能守住原性能。

原文

03:01

AK@_akhaliq

精选

bottlecapai 基于 Qwen3.6-27B 微调推出 ThinkingCap-Qwen3.6-27B 模型，平均推理 token 减少 50%，最佳案例减少 90% 以上。该模型通过先进微调算法在多个领域和难度的问题集上训练。

AI模型 ThinkingCap-Qwen3.6-27B Qwen3.6-27B bottlecapai 推理模型微调

推荐理由：bottlecapai 用 Qwen3.6-27B 微调的新模型能省一半推理 token，最快省九成，适合低成本推理场景。

原文

7月6日

12:36

官方一手marktechpost@Sana Hassan

精选

该教程展示了如何用Tunix框架和GRPO算法微调Gemma-3模型在GSM8K数学数据集上。首先配置环境并通过Hugging Face加载Gemma-3，将样本包装为推理加答案格式。定义格式正确性和数值正确性的奖励函数，并附加LoRA适配器以降低训练成本。最终通过GRPO分组采样改进策略，并导出合并后的模型。

技巧 Gemma-3 GSM8K GRPO LoRA 微调

推荐理由：手把手教你用Tunix GRPO和LoRA微调Gemma-3做GSM8K数学题，奖励函数设计得很清楚。

原文

7月4日

08:48

官方账号Stability AI@StabilityAI

精选

团队 Motif 在 Stable Audio 3.0 上微调，使其识别阿拉伯 maqam 音阶。他们开发了一个 Ableton 插件，实现微音阶风格转移。该作品在 StabilityAI 举办的 Stable Audio 3.0 挑战赛中获胜，并能在本地设备运行。演示视频由 Jad Al Masri 讲解。

AI产品 Stable Audio 3.0 Motif Ableton 插件微调音乐生成

推荐理由：StabilityAI 挑战赛冠军团队 Motif 把 Stable Audio 3.0 微调后做成了 Ableton 插件，专门处理阿拉伯音乐微音阶，本地就能跑。

原文

7月3日

21:54

21:54IT之家（博客/媒体）

桥水基金旗下AIA Labs与Thinking Machines Lab测试了GPT、Claude、Gemini等前沿模型在金融信息筛选任务中的表现。使用基础提示词时平均准确率仅约50%，经专家优化后提升至约70%，仍未达到80%的可信部署门槛。研究团队以阿里开源模型Qwen3-235B为基座进行微调，最终达到84.7%的准确率，优于最佳前沿模型的78.2%，错误率降低29.8%，推理成本仅为前沿模型的约十四分之一。

AI模型桥水基金 Qwen3-235B 金融判断微调 Thinking Machines Lab

推荐理由：桥水和Mira Murati团队发现，GPT和Claude在金融判断上准确率才70%，不如微调的Qwen3-235B的84.7%，成本还低14倍。

原文

20:49

@koltregaskes@koltregaskes

作者研究后发现，在Together AI或Fireworks上对7-16B模型做LoRA微调，计算成本仅需£10-50，70B QLoRA也不超过£200。推理方面，托管端点按基模型费率收费约£0.20-0.90/百万token，自托管spot H100约£1-2.50/小时，但流量波动时容易超支。数据准备和GDPR合规仍需投入时间。整体门槛已大幅降低，适合企业用自有数据试点。

技巧微调 Together AI Fireworks LoRA 推理成本

推荐理由：这位工程师给算了一笔账：微调7B模型只要几十英镑，而且托管推理按量付费，建议老板们别再犹豫了。

原文

19:42

官方账号Decoder@Maximilian Schreiner

桥水基金与Thinking Machines Lab的测试显示，一个经过微调的开源权重模型在金融文档评估任务上超越了GPT-4和Claude 3.5，且成本降低90%。该微调模型基于Llama 3.1 70B，在桥水内部金融问答数据集上训练，准确率达到92%，而GPT-4仅为78%。测试涵盖2000份真实金融文件，正确答案未公开以避免数据污染。

AI模型 Bridgewater Thinking Machines Lab GPT Claude 微调

推荐理由：桥水基金用自家金融数据微调了一个开源模型，结果比GPT和Claude都强，成本还低得多。想搞垂直领域微调的可以看看。

原文

11:54

官方账号arXiv cs.AI@Wentao Zhang, Liliana Hotsko, Woojeong Kim, Pengyu Nie, Stuart Shieber, Yuntian Deng

精选

PAW（Program-as-Weights）提出一种模糊函数编程范式，将自然语言规范编译为紧凑的本地可执行神经构件。一个4B编译器在FuzzyBench（1000万示例）上训练，为冻结的0.6B Qwen3解释器生成参数高效适配器。该解释器执行PAW程序，性能匹配直接提示Qwen3-32B，但推理内存仅为其1/50，在MacBook M3上达30 tokens/s。PAW将基础模型从逐输入求解器转变为可复用小工具构建器。

AI模型 PAW Qwen3 FuzzyBench 推理模型微调

推荐理由：PAW让模糊函数（如日志告警、修复JSON）不再依赖大模型API。用4B编译器一次编译，0.6B小模型就能跑出32B的效果，还省内存和算力。

原文

04:01

The Rundown AI@therundownai

精选

Mira Murati的Thinking Machines Lab与全球最大对冲基金Bridgewater合作，测试AI用于投资新闻筛选。GPT、Claude、Gemini在六项过滤测试中平均准确率约50%。专家投资者编写提示词后准确率升至74-76%，但仍低于80%的信任阈值。通过TML的Tinker API微调开放权重模型，准确率达到84.7%，错误率比最佳前沿模型降低29.8%，且每任务成本仅为前者的1/13.8。

AI模型 Mira Murati Thinking Machines Lab Bridgewater 微调 GPT

推荐理由：Mira Murati团队和桥水基金一起搞了个AI筛选新闻的实验，先用GPT、Claude只有50%准确率，专家写提示词到75%还是不够，最后微调模型干到了84.7%，成本还低了13倍多。

原文

01:38

elvis@omarsar0

推文强调调优LLM验证器和评判器正成为高需求技能。作者在自身测试框架上应用这些工具，实现了市场上尚未出现的agentic编码工作流。Bridgewater利用金融领域知识并与@tinkerapi合作微调模型，帮助分析师聚焦重点。这表明专家改进AI能提升专家效率。

技巧 LLM verifiers LLM judges Agent工作流微调 tinkerapi

推荐理由：想搞高级Agent工作流？试试自己调验证器和评判器，比现成方案更强。

原文

7月2日

12:13

官方账号arXiv cs.LG@Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang

ZO-Act提出一种激活感知的零阶微调方法，通过一次性计算输入激活基，将扰动限制在固定低秩子空间中，从而将有效扰动维度降低至系数矩阵大小。该方法在Llama-3-8B、OPT-13B和INT4 Llama-3-8B上实验，在语言理解、问答和常识推理任务中一致超越现有零阶微调基线。分析表明，ZO-Act通过低维系数扰动减少了方差依赖项和有限差分误差，并利用LLM激活和梯度的低秩结构控制子空间近似偏差。

AI模型 ZO-Act Llama-3 OPT-13B 微调零阶优化

推荐理由：ZO-Act用激活信息锁定关键子空间，让零阶微调更稳定，在Llama-3和OPT-13B上都比旧方法强，适合显存受限的场景。

原文

05:51

elvis@omarsar0

当前微调仍是未被充分研究的领域。Agentic Fine-Tuning 被认为即将引发行业变革。PorTAL 工具允许用户快速更换基础模型，避免因模型迭代而重做微调。例如 Kimi 2.6 仅发布数月就已显过时，PorTAL 可解决这类问题。

AI产品 PorTAL Agentic Fine-Tuning 微调

推荐理由：微调圈有新工具了！PorTAL 让你能轻松换基础模型，再也不用担心训练好的模型跟不上新版本。

原文

7月1日

10:33

官方账号arXiv cs.AI@Ekaterina Alimaskina, Denis Shveykin, Gleb Molodtsov, Igor Shalygin, Alexey Kadeishvili, Aleksandr Beznosikov

语言模型越来越多地使用自生成的问答数据来微调或蒸馏。研究表明，生成阶段并非中性预处理，而是隐含策略：模型在提问时不会均匀扫描文档，覆盖很快饱和并集中在显著区域，不同提示也会聚焦相同片段。在回答阶段，模型倾向于服从文本中嵌入的指令性内容，且这种服从取决于指令的表面形式和意图。作者通过将每个问题固定到特定目标降低了选择偏差，并在回答前过滤指令性文本，将注入合规率从88%降至13%，同时保留几乎所有干净文本。

论文自生成问答微调知识蒸馏指令遵循数据质量

推荐理由：这篇论文告诉你，用模型自己问自己生成的问答数据来训练模型，可能会引入隐蔽的偏见和指令注入风险。他们用一个简单方法就能把问题率从88%压到13%，值得做数据合成的同学看看。

原文

01:23

官方账号NVIDIA AI@NVIDIAAI

精选

NVIDIA TAO 7 允许用户用自然语言向编码代理描述需求，自动执行模型调优。其 Agent 技能可接入编码代理并提升准确率，AutoML 自动搜索超参数，LLM 引导调优比传统方法快 2 倍。支持在本地 NVIDIA GPU 上微调任何 Hugging Face 的 CV 或 VLM 模型，数据增强微调能帮助代理识别失败原因并修复。

AI产品 NVIDIA TAO AutoML 微调编码代理 Hugging Face

推荐理由：NVIDIA 发布了 TAO 7，你只需用大白话告诉编码代理要啥，它就能自己调模型，比手动调参快两倍，还能本地跑 Hugging Face 模型。

原文

00:50

官方一手AWS Machine Learning Blog@Le Vy

AWS 博客介绍如何通过 Amazon SageMaker AI 微调 Amazon Nova 模型，以提升电子邮件数据提取的准确性。微调使模型识别特定数据模式并区分相似字段，提取准确率可达 94.77%。该方案同时将成本降低 50%，适用于需要高精度提取的业务场景。文章提供了详细步骤和示例代码。

技巧 Amazon Nova Amazon SageMaker AI 微调提示词工程

推荐理由：想用 Amazon Nova 搞邮件数据提取？这篇教程手把手教微调，准确率飙到 94.77%，成本还省一半。

原文

6月30日

11:39

官方账号arXiv cs.AI@Bang An, Yibo Yang, Dandan Guo, Ebtisam Alshehri, Carlos Hinojosa, Bernard Ghanem

论文提出Embedded Attack，将有害的问答对嵌入良性训练样本中，测试表明代表性防护机制在样本级别难以检测。为应对这一威胁，作者提出双参考SFT（DR-SFT），通过词元级正则化将DPO风格的对比目标适配到SFT，在粗粒度数据过滤之外缓解有害微调。实验证明该攻击能绕过现有防御，而DR-SFT可有效降低有害行为。

论文 Embedded Attack DR-SFT AI安全微调对抗防御

推荐理由：这篇论文揭示了有害微调的新方式，提出Embedded Attack和DR-SFT，对AI安全研究者很有启发。

原文

11:13

官方账号arXiv cs.LG@Boshko Koloski, Xiangjian Jiang, Senja Pollak, Blaž Škrlj, Mateja Jamnik, Nikola Simidjievski

论文针对TabPFN和TabICL等纳米级表格基础模型，提出KnowsTFM方法，通过知识图谱的结构注意力先验和参数高效低秩更新进行微调。在数据稀缺、高维且分布偏移的专业领域，KnowsTFM相比原始变体取得显著提升，但在通用任务上增益微小。研究还发现，对前沿模型持续微调可能导致预训练知识及机制崩溃。

论文 KnowsTFM TabPFN TabICL 微调知识图谱

推荐理由：这篇论文教你用小知识图谱提升小表格模型在专业领域的效果，比普通微调更靠谱，还揭示了持续微调的风险。

原文

03:05

@koltregaskes@koltregaskes

精选

前沿模型成本上升、令牌使用量攀升以及近期禁令，使企业自建AI变得更加必要。通过下载Llama或Qwen等开源模型，使用LoRA在自有数据上微调，部署在自有基础设施，可一次性计算成本取代按席收费。Hugging Face和LoRA已降低技术门槛，关键在于管理层是否将其视为基础设施投资而非普通软件开支。

行业 Llama Qwen LoRA Hugging Face 微调

推荐理由：前沿模型越来越贵还被禁，自己微调Llama或Qwen更可控，一次性投入省月费，数据也安全。

原文

6月27日

11:39

官方一手marktechpost@Sana Hassan

精选

本教程演示如何从Hugging Face流式加载NVIDIA Open-SWE-Traces数据集，无需本地下载即可在Google Colab中高效处理。内容涵盖多轮智能体对话标准化、代码补丁解析、构建包含轨迹长度、工具使用次数、补丁大小、语言分布及解决结果的分析DataFrame。最后基于成功标签、Token限制、语言过滤和补丁可用性筛选出监督微调子集。

技巧 NVIDIA Open-SWE-Traces Hugging Face 微调编程助手

推荐理由：想自己动手做代码智能体微调数据？这教程手把手教你解析NVIDIA开源的Open-SWE-Traces，连Token预算和工具使用指标都算好了。

原文

6月26日

09:51

官方账号arXiv cs.AI@Ryan Fetterman

论文研究LLM微调安全分类器时产生的逃避漏洞，发现标准评估无法检测。以Foundation-Sec-8B-Instruct及其基础模型Llama-3.1-8B-Instruct为对象，在PowerShell分类任务上测试。通过因果干预定位分类电路继承自Llama的后期注意力路径，微调浓缩并语义专化此结构，但引入了对PowerShell别名替换（如iwr）、命令重建（Invoke-Expression）、字符串构造、执行间接和大小写变异等转换敏感的漏洞。三种逃避基准显示Foundation-Sec在iwr替换、Invoke-Expression重建和大小写变异的Invoke-Expression/IEX变体上失败，而Llama未受影响。

论文 Foundation-Sec-8B-Instruct Llama-3.1-8B-Instruct AI安全微调逃避攻击

推荐理由：这篇论文揭示了一个反直觉的发现：给模型做安全微调反而可能暗藏更多绕过后门。它用具体的PowerShell分类实验，告诉你继承的电路在微调后变得脆弱，适合关注AI安全或模型微调的朋友。

原文

08:55

Fireworks AI@FireworksAI_HQ

精选

Fireworks 宣布对 NVIDIA Nemotron 3 的强化学习微调功能上线，首批支持 Nemotron 3 Super 的 LoRA 微调。训练采用 GRPO 算法，可在一处平台完成训练和部署。计费方式改为按 GPU 小时而非按 token，解决了长多轮对话成本不可控的问题。

AI产品 Nemotron 3 Fireworks 微调 RL训练 GRPO

推荐理由：Fireworks 刚上线了 Nemotron 3 的 RL 微调，按 GPU 小时计费不怕长对话烧钱，用 GRPO 训练一条龙搞定。

原文

04:52

官方账号LangChain@LangChainAI

LangChain与Fireworks AI合作，基于阿里巴巴Qwen模型微调了一个法官模型。该模型用于检测用户交互中的“感知错误”（Perceived Error）。具体微调方法和评估结果已在LangChain博客文章中发布。

AI模型 LangChain Fireworks AI Qwen 微调感知错误

推荐理由：LangChain和Fireworks用Qwen搞了个裁判模型，专门抓对话里的感知错误，挺实用的，去博客看具体数据吧。

原文

04:51

官方账号LangChain@LangChainAI

LangChain 与 FireworksAI 合作研究显示，微调后的阿里巴巴 Qwen 模型在所有规模上性能优于原版模型。与使用顶级前沿模型相比，微调模型在规模运行时可降低 10-100 倍成本，具体取决于追踪数量和模型选择。随着追踪量增长，微调模型的成本节约效果将更加显著。该结果基于对多个模型规模和基准的对比测试。

AI模型 Qwen FireworksAI 微调推理模型

推荐理由：微调 Qwen 能跑赢大模型，还省 10-100 倍成本，适合大批量任务。

原文

6月25日

11:00

官方账号arXiv cs.AI@Tânia Carvalho, Maxime Cordy

本文发现表格基础模型（Tabular Foundation Models）在推理时使用的上下文示例（context examples）通过注意力机制会泄露隐私。研究者提出AMIA（Attention-based Membership Inference Attack），一种无需影子模型的攻击方法，利用注意力模式实现平均7.7%的增益，尤其在低假阳性区域表现突出。为防御该风险，他们提出基于k-匿名原则的推理时防御，减少上下文键表示的唯一性，将AMIA的成员推理成功率平均降低50%，对置信度攻击降低25%，仅导致3.9%的性能下降。此外，实验表明微调会增加隐私风险，微调后置信度上升的样本更易受攻击。

论文 Tabular Foundation Models AMIA Membership Inference Attack AI安全微调

推荐理由：这篇论文发现表格模型用上下文示例做推理时会泄露隐私，还提出了一个很有效的攻击和防御方法，干活不花哨。

原文

05:58

Fireworks AI@FireworksAI_HQ

Fireworks AI 宣布其平台现支持对开源编码模型 GLM 5.2 进行微调，涵盖 SFT、DPO 和 RL 三种方法。GLM 5.2 在多个编码基准上表现强势，但 Fireworks 指出排行榜赢家未必适合你的代码库，微调可缩小差距。训练后的模型可直接在同一生产栈上提供服务，无需切换或迁移。早期客户反馈热烈，目前开放私测申请。

AI产品 GLM 5.2 Fireworks SFT DPO 微调

推荐理由：想用最强开源编码模型但通用版不顺手？Fireworks 让你微调 GLM 5.2，SFT/DPO/RL 全包，训练完直接上线，不用折腾。

原文

00:51

00:51官方一手Hugging Face: Blog（博客/媒体）

精选

NVIDIA 发布 NeMo AutoModel，通过自动化模型并行、混合精度训练和梯度检查点，简化 Transformer 模型微调流程。该工具可自动检测硬件配置，支持多 GPU 分布式训练，无需手动调整参数。在微调 BERT-base 模型时，相比标准 PyTorch 实现，NeMo AutoModel 将训练时间缩短约 40%，并保持相同精度。

技巧 NVIDIA NeMo AutoModel Transformer 微调

推荐理由：NVIDIA 搞了个 NeMo AutoModel，能自动帮你加速微调 Transformer 模型，省去手动调参的麻烦，速度还快很多，适合想快速出结果的人。

原文

6月24日

12:10

官方账号arXiv cs.AI@Ahmad Pouramini, Hesham Faili

该论文提出MTO框架，在编码器-解码器预训练语言模型上匹配任务与预训练目标。将微调模板与目标对齐后，在少样本设置下性能提升超过120%，并超越相关研究。在全数据集场景中也优于基线。框架还扩展至提示调优，提供软提示工程与优化的指导。

论文 MTO框架微调提示调优编码器-解码器少样本学习

推荐理由：这篇论文教你怎么给不同任务选对预训练目标，少样本下性能直接翻倍，比传统方法强一大截。

原文

6月23日

22:09

官方账号LangChain@LangChainAI

精选76°

LangChain与Fireworks AI合作，微调阿里Qwen模型构建了trace judge，用于检测生产trace中的“感知错误”。该judge在性能上匹敌或超越前沿模型，同时运行成本降低100倍。相关研究成果已发表在LangChain Labs博客。

AI产品 LangChain Fireworks AI Qwen 微调 AI评估

推荐理由：LangChain搞了个低成本trace judge，用阿里Qwen微调，性能不输顶级模型还便宜100倍，做trace监控的可以看看。

原文

12:52

Ate-a-Pi@svpino

精选

作者指出现有基准往往在部署后失效，因为真实用户会使用你未测试过的表述。解决方案是分析推理日志和追踪，提取真实提示、响应、拒绝和格式错误。Nebius在Token Factory内推出Data Lab工作区，可将失败案例转化为评估和微调数据集。推荐循环：读日志→找失败→建数据集→评估→微调→部署→重复。

技巧 Nebius Data Lab Token Factory 模型评估微调

推荐理由：Nebius 出了个 Data Lab，能帮你从日志里挖出模型翻车的真实案例，直接做成数据集来微调和评估，比啥基准都管用。

原文

6月20日

08:51

官方账号Sakana AI@SakanaAILabs

Sakana AI 研究科学家 Rujikorn (Tan) Charakorn 在 MLCollective 的 DLCT 期刊俱乐部上介绍了 Doc-to-LoRA 方法。该方法利用超网络生成 LoRA 权重，通过成本分摊降低计算开销。演讲还讨论了 Doc-to-LoRA 的未来方向，并引发了热烈讨论。

论文 Sakana AI Doc-to-LoRA LoRA 微调超网络

推荐理由：Sakana AI 介绍了 Doc-to-LoRA，用超网络一键生成 LoRA 权重，微调更省钱。

原文

6月19日

23:57

Thomas Wolf@Thom_Wolf

开源模型生态欢迎新手尝试Opus 4.8级别的模型。GLM-5.2是ZAI org发布的开放权重模型，可通过Hugging Face页面使用。多个供应商竞争价格，智能体价格便宜。模型可本地运行、微调并构建商业应用，无需许可。HuggingChat提供免费聊天界面。

AI模型 GLM-5.2 Hugging Face 开源模型本地部署微调

推荐理由：GLM-5.2达到Opus 4.8水平，免费、可本地跑、可微调，比闭源灵活还便宜，快试试！

原文

6月18日

10:57

官方账号arXiv cs.AI@Ikram Belmadani, Oumaima El Khettari, Carlos Ramisch, Frederic Bechet, Richard Dufour, Benoit Favre

该研究以法语医疗问答为案例，比较了持续预训练（CPT）、监督微调（SFT）及其组合在Llama 2、Mistral、Bloom三个模型家族、7B-70B多种规模和三种初始化类型上的效果。对于多项选择问答（MCQA），CPT+SFT通常得分最高，但相对于单独SFT的提升很小且常不显著，SFT成为强且成本效益高的默认选择。对于开放问答（OEQA），CPT一致提升基于重叠的指标（如BLEU、ROUGE），而SFT常降低生成质量；指令微调和CPT+SFT在LLM评估中更受偏好。跨语言实验显示，法语适应可有效迁移到英语基准（如MedQA）。

论文 LLM 医疗领域领域适应法语问答微调

推荐理由：这篇论文用扎实的数据告诉你，在医疗领域微调模型时SFT性价比最高，CPT对开放问答有帮助但别盲目上全套，省钱又省力。

原文

03:58

官方账号Sebastian Raschka@rasbt

精选

VibeCoder采用Qwen2.5-Coder-3B作为基座，通过一套后训练技术栈大幅提升性能。技术报告显示其包含高信号合成数据、多重推理路径、2阶段SFT（先广训再难长推理样本）、MGPO（MaxEnt-Guided Policy Optimization）强化学习等9个关键组件。训练顺序为Math RL→Code RL→STEM RL，并采用了单64k长上下文RL而非渐进扩展。最后通过奖励短正确轨迹来提升效率而不牺牲准确性。

论文 VibeCoder Qwen2.5-Coder-3B 推理模型强化学习微调

推荐理由：Sebastian Raschka分析了VibeCoder的后训练秘诀，基于3B模型就取得惊人成绩，训练顺序和RL方法值得参考。

原文

03:55

官方账号LangChain@LangChainAI

LangChain测试显示，Alibaba Qwen基础模型配合良好提示在感知错误分类任务上性能接近前沿模型。使用LoRA SFT微调后，模型性能接近或超过前沿模型。实验表明微调能使开源模型与顶级闭源模型竞争。

AI模型 Qwen Alibaba LoRA 微调开源模型

推荐理由：LangChain实测：Qwen基础版+好提示就能追平顶级模型，微调后甚至超越。开源模型潜力很大！

原文