08:51Sakana AI@SakanaAILabsSakana AI 研究科学家 Rujikorn (Tan) Charakorn 在 MLCollective 的 DLCT 期刊俱乐部上介绍了 Doc-to-LoRA 方法。该方法利用超网络生成 LoRA 权重,通过成本分摊降低计算开销。演讲还讨论了 Doc-to-LoRA 的未来方向,并引发了热烈讨论。论文Sakana AIDoc-to-LoRALoRA微调超网络推荐理由:Sakana AI 介绍了 Doc-to-LoRA,用超网络一键生成 LoRA 权重,微调更省钱。原文
23:58AK@_akhaliq精选Code2LoRA 提出利用超网络为代码语言模型生成 LoRA 适配器,以应对软件演化中的代码变更。该方法在代码补全、代码搜索等任务中无需全量微调即可适配新版本代码。实验显示其适配速度比传统方法快 10 倍以上,且性能接近全量微调。相关工作已在多个代码基准上验证有效性。AI模型Code2LoRA代码语言模型LoRA超网络软件演化1 个信源在谈推荐理由:用超网络给代码模型打补丁原文