09:46
官方账号arXiv cs.LG@Jiajia Tang, Sizhe Yuen, Francisco Gomez Medina, Yali Du, Adam Sobey
推荐理由：这篇论文提出用自动任务排序加独立QLoRA来微调LLM，在TRACE基准上拿到44.78，比堆参数容量更管用。
任务排序
共 1 条相关 AI 资讯
8月3日
09:46
参数高效微调（PEFT）通常使用单一共享LoRA适配器，在异构任务序列上会产生干扰和灾难性遗忘。现有方法通过增加参数容量或组合多个适配器来提升表现，但仍依赖共享优化路径。本文提出自动多策略PEFT框架，通过任务分组和排序组织优化路径，采用独立QLoRA实现异构任务解耦优化。在TRACE基准上，该框架在相同可训练容量下达到44.78的最佳性能，验证了优化路径组织比单纯增加适配器容量更有效。