微调 Fine-tuning
微调是在预训练模型的基础上,用特定领域或任务的数据继续训练,使模型行为向目标场景对齐的方法。
全参数微调成本高,实践中多用 LoRA 等参数高效方法。适合固定风格、专有格式、垂直领域术语等场景;需要注入实时知识时通常 RAG 更合适。过度微调可能损伤通用能力(灾难性遗忘)。
相关词条
微调是在预训练模型的基础上,用特定领域或任务的数据继续训练,使模型行为向目标场景对齐的方法。
全参数微调成本高,实践中多用 LoRA 等参数高效方法。适合固定风格、专有格式、垂直领域术语等场景;需要注入实时知识时通常 RAG 更合适。过度微调可能损伤通用能力(灾难性遗忘)。