Fine-tuning（微调）作为将预训练语言模型适配特定任务的核心技术，近期发展呈现出效率提升、多模态扩展和安全对齐三大趋势。
OpenAI 在 2024 年密集升级了微调 API，不仅为 GPT-4o 新增了视觉能力，使模型能基于图像数据进行定制（GPT-4o微调API新增视觉能力），还推出了模型蒸馏功能，允许用户将大型模型的知识迁移到更小、更快的模型中，降低部署成本（OpenAI API 推出模型蒸馏功能）。同时，OpenAI 扩展了自定义模型计划，支持更个性化的微调需求（OpenAI微调API升级与自定义模型扩展）。
在安全与对齐方面，OpenAI 早期研究显示通过小型精选数据集微调 GPT-2 可以改善模型行为，减少有害输出（用小型精选数据集微调改善语言模型行为）。另一项研究则关注开源大模型微调后的潜在风险，指出需要评估最坏情况下的前沿风险（评估开源LLM的最坏前沿风险）。
值得注意的是，实用层面的发现引发了关于微调策略的讨论。有实验表明，在微调时使用高频、直接的词汇比高级词汇更有效，提示过度追求专业术语可能适得其反（别给AI拽高级词汇！FaceMind实验证明高频表达更有效）。
当前行业焦点在于微调的效率（如蒸馏）与多模态能力扩展，同时安全性研究也持续深入。未来观察点包括：微调对模型泛化能力的影响，以及开源模型微调带来的鲁棒性挑战。