全部 AI 动态 · AI 热点

arXiv cs.LG@Mind Lab, :, Song Cao, Vic Cao, Kaijie Chen, Bunny Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Autumn Jin, Fancy Kong, Kyrie Lei, Alexy Li, Dawn Li, Ray Li, Theo Li, Wenhao Li, Jiayi Lin, Domini Liu, Heshan Liu, Kairus Liu, Logan Liu, Maeve Luo, Runism Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Maxwell Yao, Regis Ye, Wenlin Ye, Yanying Ye, Josh Ying, Danney Zeng, Salmon Zhan, Anya Zhang, Ruijia Zhang, Shiyang Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Sizer Zhou, Xinyue Zhu, Murphy Zhuang

本文重新审视参数高效微调（PEFT）的角色，提出将其视为在强大基础模型上附加的持久本地状态，而非仅作为全参数微调的廉价替代。研究围绕三个扩展维度展开：向上扩展（更强的共享先验使小适配器更有用）、向下扩展（研究适配器的最小可靠尺寸）以及向外扩展（大量持久适配实例共存）。MinT 基础设施示例展示了如何管理适配器的身份、版本、来源、评估和服务驻留。结果表明，PEFT 可以成为持久个性化模型的紧凑载体，而不仅仅是预算有限的微调替代方案。

论文参数高效微调个性化模型扩展性基础模型 MinT

推荐理由：这篇论文重新定义了 PEFT 的潜力——从省钱技巧变成个性化模型的基石，做大规模模型部署和个性化服务的团队值得关注，尤其是那些需要为每个用户维护独立模型状态的场景。

原文

5月14日

13:27

arXiv cs.LG@Mind Lab, :, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Andrew Lei, Kyrie Lei, Alexy Li, Lucian Li, Ray Li, Theo Li, Zhihui Li, Jiayi Lin, Kairus Liu, Kieran Liu, Logan Liu, Xiang Liu, Irvine Lu, Maeve Luo, Runze Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Rio Yang, Maxwell Yao, Carrie Ye, Regis Ye, Wenlin Ye, Josh Ying, Danney Zeng, Yuhan Zhan, Anya Zhang, Di Zhang, Ruijia Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Changhai Zhou, Yuhua Zhou, Xinyue Zhu, Murphy Zhuang

精选

MinT（MindLab Toolkit）是一个专为低秩适配（LoRA）后训练和在线推理设计的托管基础设施系统。它针对在少量昂贵基座模型上产生大量训练策略的场景，通过保持基座模型常驻内存，仅移动导出的LoRA适配器，避免了合并完整检查点的开销。MinT沿三个维度扩展：向上支持超过1T总参数的前沿密集和MoE架构；向下实现适配器仅占基座模型1%以下大小，在4B密集模型上步骤时间减少18.3倍；向外支持百万级可寻址策略目录和千级适配器并发波次。该系统使得在共享的1T级基座模型上训练和推理数百万LoRA策略成为可能。

论文 LoRA 训练/推理基础设施 MoE 大规模部署 MinT

推荐理由：做大规模LoRA训练和推理的团队终于有了正经的工程方案——MinT解决了策略数量爆炸时的资源浪费问题，用适配器分离和调度大幅降低成本，搞大模型服务的建议点开看看。

原文