12:03
arXiv cs.LG@Mind Lab, :, Song Cao, Vic Cao, Kaijie Chen, Bunny Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Autumn Jin, Fancy Kong, Kyrie Lei, Alexy Li, Dawn Li, Ray Li, Theo Li, Wenhao Li, Jiayi Lin, Domini Liu, Heshan Liu, Kairus Liu, Logan Liu, Maeve Luo, Runism Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Maxwell Yao, Regis Ye, Wenlin Ye, Yanying Ye, Josh Ying, Danney Zeng, Salmon Zhan, Anya Zhang, Ruijia Zhang, Shiyang Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Sizer Zhou, Xinyue Zhu, Murphy Zhuang 本文重新审视参数高效微调(PEFT)的角色,提出将其视为在强大基础模型上附加的持久本地状态,而非仅作为全参数微调的廉价替代。研究围绕三个扩展维度展开:向上扩展(更强的共享先验使小适配器更有用)、向下扩展(研究适配器的最小可靠尺寸)以及向外扩展(大量持久适配实例共存)。MinT 基础设施示例展示了如何管理适配器的身份、版本、来源、评估和服务驻留。结果表明,PEFT 可以成为持久个性化模型的紧凑载体,而不仅仅是预算有限的微调替代方案。
推荐理由:这篇论文重新定义了 PEFT 的潜力——从省钱技巧变成个性化模型的基石,做大规模模型部署和个性化服务的团队值得关注,尤其是那些需要为每个用户维护独立模型状态的场景。