LoRA 相关 AI 资讯

7月6日

12:36

官方一手marktechpost@Sana Hassan

精选

该教程展示了如何用Tunix框架和GRPO算法微调Gemma-3模型在GSM8K数学数据集上。首先配置环境并通过Hugging Face加载Gemma-3，将样本包装为推理加答案格式。定义格式正确性和数值正确性的奖励函数，并附加LoRA适配器以降低训练成本。最终通过GRPO分组采样改进策略，并导出合并后的模型。

技巧 Gemma-3 GSM8K GRPO

事件专题

推荐理由：手把手教你用Tunix GRPO和LoRA微调Gemma-3做GSM8K数学题，奖励函数设计得很清楚。

原文

7月3日

20:49

@koltregaskes@koltregaskes

作者研究后发现，在Together AI或Fireworks上对7-16B模型做LoRA微调，计算成本仅需£10-50，70B QLoRA也不超过£200。推理方面，托管端点按基模型费率收费约£0.20-0.90/百万token，自托管spot H100约£1-2.50/小时，但流量波动时容易超支。数据准备和GDPR合规仍需投入时间。整体门槛已大幅降低，适合企业用自有数据试点。

技巧微调 Together AI Fireworks

推荐理由：这位工程师给算了一笔账：微调7B模型只要几十英镑，而且托管推理按量付费，建议老板们别再犹豫了。

原文

09:05

官方账号arXiv cs.LG@Jijie Zhang, Zhe Ren, Quan Zhang, Dandan Guo

DALorRA利用变分贝叶斯稀疏框架，对LoRA的低秩分解中的每个秩分量施加随机掩码，从而引入贝叶斯正则化。该方法将不确定性估计从高维参数空间转移到轻量级的秩空间，实现高效校准。实验结果显示DALorRA在不牺牲推理准确性的前提下，有效减轻了LLM的过度自信问题。

论文 DALorRA LoRA LLM

推荐理由：DALorRA让LLM微调不再过度自信，用稀疏低秩适应提升校准，还不损失推理能力。

原文

6月30日

11:35

官方账号arXiv cs.AI@Maxime Riché, Daniel Tan, Vili Kohonen, Niels Warncke

该论文提出接种适配器（Inoculation Adapters, IA），基于LoRA在训练时强化不良特征以减轻优化压力。方法分三步：在不良特征上训练IA，冻结IA同时训练任务适配器，部署时丢弃IA仅保留任务适配器。在6个模型家族和包括突发性错位（emergent misalignment）在内的多种不良特征上，IA比接种提示（inoculation prompting）更有效抑制不良特征。同时避免接种提示的两个缺点：无法可靠通过提示诱发的特征抑制、引入较少意外后门。但IA在保留期望特征方面未一致优于接种提示，仍是挑战。

论文 Inoculation Adapters LoRA 选择性泛化

推荐理由：这篇论文提出了一种叫接种适配器的新方法，用LoRA在训练时强化不想有的特征，比之前的接种提示更好用，后门更少，适合关心AI安全的人看。

原文

11:15

官方账号arXiv cs.LG@Bertram Taetz, Hugo Albuquerque Cosme da Silva, Gabriele Bleser-Taetz

本研究提出基于冻结大语言模型和LoRA变体的持续学习方法，使运动-语言智能体能在不遗忘旧知识的情况下增量学习新动作概念。采用混合专家架构和基于自编码器的路由器在推理时选择任务特定专家，无需任务标签。在从HumanML3D导出的5任务基准上，该方法在运动到文本（M2T)和文本到运动（T2M）两个方向上实现了近乎零遗忘，且保持高质量生成与描述。实验表明硬专家选择在质量指标上显著优于软专家混合，专家隔离对持续学习性能至关重要。

论文运动-语言智能体持续学习 LoRA

推荐理由：这篇论文提出用LoRA和混合专家架构让智能体不断学新动作而不忘旧的，5任务基准上几乎零遗忘，值得做持续学习或运动生成的看看。

原文

10:37

官方一手arXiv: DeepSeek@Xuan Zhao, Haonan He, Qingyu Yang, Minglei Li, Jingqi Ye, Zelin Tan, Bo Wan, Peng Ye

提出ParametricSkills框架，将自由格式的文本技能在测试时转换为LoRA参数适配器。该框架利用大规模技能库和OpenCode合成的单/多轮轨迹训练超网络。在六个软件工程子任务上，比上下文学习平均提升6.44个点（由DeepSeek-V4-Flash评判），BERT Score和F1分数也更高。参数化技能具有累积性，为测试时持续学习提供了初步方向。

论文 ParametricSkills OpenCode DeepSeek-V4-Flash

事件专题

推荐理由：这篇论文把技能文本直接转成模型参数，编程任务上比上下文学习高出6分多，还能不断积累，挺实用的。

原文

10:02

官方账号arXiv cs.LG@Yihan Zhang, Zhiteng Zhang, Kun Chen, Chen Wang

PCGD是一种物理引导条件图扩散框架，在非结构TCAD网格上预测耦合静电场和载流子密度场。在混合PN/MOS基准上，PCGD达到0.835%的平均相对场误差，优于确定性一步回归（1.207%）和局部扩散（1.585%）。相比纯扩散，PCGD将最大PDE残差误差降低了近三个数量级。通过LoRA适配，PCGD在未见过的SOI拓扑上达到0.815%误差，仅需全微调数据量的1/5.30和参数量的1/14.34。

论文 PCGD TCAD MeshGraphNet

推荐理由：PCGD用物理引导扩散做芯片仿真，精度逼近传统TCAD但快得多，遇到新结构只用少量数据微调，省时省力。

原文

03:05

@koltregaskes@koltregaskes

精选

前沿模型成本上升、令牌使用量攀升以及近期禁令，使企业自建AI变得更加必要。通过下载Llama或Qwen等开源模型，使用LoRA在自有数据上微调，部署在自有基础设施，可一次性计算成本取代按席收费。Hugging Face和LoRA已降低技术门槛，关键在于管理层是否将其视为基础设施投资而非普通软件开支。

行业 Llama Qwen LoRA

推荐理由：前沿模型越来越贵还被禁，自己微调Llama或Qwen更可控，一次性投入省月费，数据也安全。

原文

6月29日

10:10

官方账号arXiv cs.AI@Abdolazim Rezaei, Mehdi Sookhak, Mahboobeh Haghparast

论文提出参数高效混合Transformer（PEHT），将LoRA集成到Transformer编码器中以减少可训练参数，同时在解码器中融合外部移动性和拥堵特征。在Telecom Italia Milan数据集和多个合成拥堵场景上的实验显示，PEHT在RMSE、MAE和R²指标上优于现有基线。该模型针对动态城市蜂窝网络中的资源分配优化，代码已在GitHub开源。

AI模型 PEHT LoRA 网络流量预测

推荐理由：想用Transformer预测城市网络流量？这个PEHT用LoRA大幅减少参数，还能融合拥堵数据，实测精度超过现有方法。

原文

6月20日

08:51

官方账号Sakana AI@SakanaAILabs

Sakana AI 研究科学家 Rujikorn (Tan) Charakorn 在 MLCollective 的 DLCT 期刊俱乐部上介绍了 Doc-to-LoRA 方法。该方法利用超网络生成 LoRA 权重，通过成本分摊降低计算开销。演讲还讨论了 Doc-to-LoRA 的未来方向，并引发了热烈讨论。

论文 Sakana AI Doc-to-LoRA LoRA

推荐理由：Sakana AI 介绍了 Doc-to-LoRA，用超网络一键生成 LoRA 权重，微调更省钱。

原文

6月19日

11:15

官方账号arXiv cs.AI@Jinghong Lan, Wei Cheng, Yunuo Chen, Ziqi Ye, Peng Xing, Yixiao Fang, Rui Wang, Yufeng Yang, Xuanyang Zhang, Xianfang Zeng, Difan Zou, Gang Yu, Chi Zhang

FreeStyle提出一种基于社区LoRA挖掘的可扩展双参考生成框架，利用社区LoRA作为风格和内容的组合锚点，构建大规模三元组数据（风格参考和内容参考）。采用两阶段课程，包括注意力级富集约束抑制风格参考泄漏，以及频率感知RoPE调制解决位置对应泄漏。引入新基准，包含风格不变内容对齐分数（CAS）和基于VLM的拒绝分数。实验表明，FreeStyle在风格对齐、内容保持和泄漏抑制之间取得强平衡。

AI模型 FreeStyle LoRA 双参考生成

推荐理由：想同时控制图片风格和内容？FreeStyle用社区LoRA搞定双参考生成，还自带防泄漏机制，比以往方法更稳。

原文

6月18日

03:55

官方账号LangChain@LangChainAI

LangChain测试显示，Alibaba Qwen基础模型配合良好提示在感知错误分类任务上性能接近前沿模型。使用LoRA SFT微调后，模型性能接近或超过前沿模型。实验表明微调能使开源模型与顶级闭源模型竞争。

AI模型 Qwen Alibaba LoRA

推荐理由：LangChain实测：Qwen基础版+好提示就能追平顶级模型，微调后甚至超越。开源模型潜力很大！

原文

6月12日

05:40

rohanpaul_ai@rohanpaul_ai

精选

一篇论文提出 SIA（自我改进 AI）框架，让 AI 通过观察任务代理的表现，自动调整外部设置（如提示、工具、重试规则）或更新模型权重（通过 LoRA 适配器）。在三个差异极大的任务（中文法律罪名分类、GPU 内核速度调优、单细胞 RNA 去噪）上，结合设置与权重更新的版本均优于仅改进设置的方法。这表明，除了优化提示和工具，让模型通过任务反馈学习模式能带来额外提升。

论文自我改进 LoRA 任务代理

推荐理由：这项研究解决了 AI 自我改进依赖人工调参的瓶颈，做自动化 Agent 或模型微调的团队值得关注——SIA 的 LoRA 更新思路能低成本让模型学会任务模式，比只改提示更有效。

原文

02:07

Ideogram@ideogram_ai

Ideogram AI 在 X 上发文称，其社区在一周内构建了训练器、提示编译器、LoRA 和完整工作流。该平台邀请用户分享最佳生成作品，并将纳入下一期社区亮点帖。这展示了 Ideogram 生态的活跃度和用户创造力，也反映了 AI 图像生成领域社区驱动的快速迭代趋势。

AI产品 Ideogram 社区生态训练器

推荐理由：Ideogram 社区一周内产出训练器、LoRA 等工具，说明其生态正快速成熟。做 AI 图像生成的创作者可以关注这些社区资源，直接提升工作流效率。

原文

6月11日

09:51

官方账号arXiv cs.AI@Shang Ma, Jisheng Dang, Wencan Zhang, Yifan Zhang, Bimei Wang, Hong Peng, Bin Hu, Qi Tian, Tat-Seng Chua

精选

研究者提出了一种名为 MODF-SIR 的多智能体协作框架，基于轻量级多模态大语言模型，专门用于社交智能推理。该框架通过知识蒸馏增强训练和推理阶段，能够精确定位多模态社交数据，并提取长尾事件以格式化文本呈现，避免关键信息被噪声淹没。它集成了测试时自适应（TTA）、思维链提示和自反思机制，并利用 LoRA 微调基础模型。在多个基准测试中，仅用约 30% 的训练数据就达到了最先进的结果。代码、演示和模型均已开源。

论文多智能体知识蒸馏社交智能推理

推荐理由：社交智能推理是 AI 理解人类互动的关键，MODF-SIR 用轻量模型和蒸馏技术解决了长尾事件被忽略的痛点，做多模态社交分析或人机交互的团队可以直接用开源代码复现。

原文

6月10日

09:39

官方账号arXiv cs.LG@Irina Piontkovskaia, Sergey Nikolenko

精选

该研究探讨了预训练模型中的线性结构是否真实存在及其尺度。通过合成多任务Transformer和LoRA适配器实验，发现任务梯度具有强局部低秩结构，但静态基无法捕捉恢复方向，有用基在100步内显著漂移。首次恢复更新形成的轨迹前缀基可捕获77%的LoRA恢复位移。研究还提出高斯局部线性定理，解释了高维随机参数搜索的有效性，并发现单步梯度产生的激活偏移与CAA导向向量余弦相似度为0.58。结果表明，线性结构并非全局任务方向，而是部分跨参数和激活空间演化的局部几何。

论文线性结构 LoRA 任务向量

推荐理由：做模型微调或可解释性研究的团队会感兴趣——它揭示了LoRA和激活导向的线性假设为何局部成立但全局不成立，建议在调试任务向量时参考其轨迹前缀基方法。

原文

09:07

官方一手arXiv: DeepSeek@Wu Yuerong, Mingni Luo

精选

该研究将 DeepSeek-R1-8B 与 LoRA 和 NEFTune 结合，用于金融命名实体识别。通过将 1693 条标注句子转换为指令-输入-输出三元组，并插入轻量 LoRA 矩阵及在训练时添加均匀噪声，模型在七类实体上达到 0.912 的 micro-F1，超越 Llama3-8B、Qwen3-8B 等基线。这证明低成本微调开源模型即可在专业领域取得优异效果。

论文 DeepSeek-R1-8B LoRA NEFTune

推荐理由：金融 NER 是结构化非结构化数据的关键，做金融 NLP 的团队可以直接用这套方法低成本提升实体识别精度，值得一试。

原文

6月9日

12:36

官方账号arXiv cs.LG@Alexander Chulzhanov, Soeren Eberhardt, Arjun Mukherjee

精选

该研究针对数字低资源土著语言的神经机器翻译（NMT）数据极度稀缺问题，提出了一种无需抓取目标语言平行文本的数据合成方法。以Q'eqchi'玛雅语为例，研究者将社区词典转化为大规模合成语料，并采用LoRA适配器对mT5-base模型进行参数高效微调（PEFT）。域内评估显示模型能有效学习复杂黏着形态和VOS语序（BLEU 42.02），但面对自然语言时存在结构-语义鸿沟（BLEU 0.59），模型过度拟合合成模板的结构约束。消融实验表明多任务学习导致负迁移，LoRA适配器参数容量有限，辅助任务与主任务竞争。最终结论是合成引导是高效的结构入门，但需要真实数据进行课程学习以完善语义。

论文低资源NMT 数据合成参数高效微调

推荐理由：低资源语言NMT研究者终于有了一个不依赖网络爬虫的可行方案——用社区词典合成数据+LoRA微调就能启动翻译模型，做濒危语言数字化的团队值得关注。

原文

6月7日

04:18

Fireworks AI@FireworksAI_HQ

精选

Fireworks 训练平台持续扩展，现已支持美国领先的开源权重模型 Nemotron 3 Ultra 进行后训练。用户可以通过 LoRA 或全参数微调进行 SFT 和 DPO，且训练与推理使用同一基础设施。这意味着训练出的模型可以直接部署，无需额外迁移。该平台旨在简化从训练到上线的流程，适合需要定制化模型的团队。

AI产品 Fireworks Nemotron 3 Ultra 模型微调

事件专题

推荐理由：Fireworks 把 Nemotron 3 Ultra 的后训练和推理放在同一基础设施上，做模型微调的团队可以直接训练并上线，省去模型迁移的麻烦，值得关注。

原文

6月5日

23:58

AK@_akhaliq

精选

Code2LoRA 提出利用超网络为代码语言模型生成 LoRA 适配器，以应对软件演化中的代码变更。该方法在代码补全、代码搜索等任务中无需全量微调即可适配新版本代码。实验显示其适配速度比传统方法快 10 倍以上，且性能接近全量微调。相关工作已在多个代码基准上验证有效性。

AI模型 Code2LoRA 代码语言模型 LoRA

事件专题

推荐理由：用超网络给代码模型打补丁

原文

6月4日

10:27

官方账号arXiv cs.AI@Zehua Cheng, Wei Dai, Jiahao Sun

大型语言模型存在捷径学习问题，在分布外输入上系统性失败，即使逻辑结构相同。本文提出不变梯度对齐（IGA）框架，通过逻辑同构集、连续梯度冲突掩码和截断SVD投影三个创新，对齐语义多样但逻辑同构样本的梯度更新。理论上，IGA比经验风险最小化（ERM）有更紧的分布外泛化界；实验上，在四个基准上准确率提升最高14.3个百分点，逻辑一致性分数提升四倍。该方法适用于知识蒸馏场景，帮助小模型学习更鲁棒的推理能力。

论文推理蒸馏分布外泛化梯度对齐

推荐理由：做推理蒸馏或知识迁移的团队，IGA解决了小模型在分布外数据上泛化差的痛点，逻辑一致性提升四倍，值得在数学、医学等跨领域任务上试试。

原文

5月31日

10:19

官方一手marktechpost@Michal Sutter

精选72°

Trajectory 与 UC Berkeley Sky Lab 和 Anyscale 合作，构建了一个用于持续学习的并发多 LoRA 训练栈。该方案将每个强化学习实验映射到始终热运行的引擎上的专用 LoRA 适配器，相比单租户基线实现了 2.81 倍的端到端实验吞吐量提升，且无奖励回归。代码已在 NovaSky-AI/SkyRL 开源。这一进展解决了持续学习中多实验并行效率低下的问题，对强化学习研究和工程团队有直接价值。

AI模型 LoRA 持续学习强化学习

推荐理由：做强化学习持续训练的团队终于有了高效的并行方案——2.81 倍吞吐量提升且不损失奖励，直接开源可用，建议试试。

原文

5月29日

12:14

官方账号arXiv cs.LG@Ziwen Xu, Haiwen Hong, Linsong Yu, Benglei Cui, Longtao Huang, Hui Xue, Ningyu Zhang

该论文系统研究了 LoRA 在 LLM 微调中的参数记忆容量与动态机制，提出了 Parametric Memory Law——一个将损失减少与有效参数和序列长度联系起来的幂律关系。在 token 级别，研究发现预测概率 p > 0.5 是贪心解码下逐字回忆的充分条件，存在确定性相变。基于此，作者提出 MemFT 阈值引导优化策略，动态分配训练预算给低于阈值的 token，实验表明能提升记忆保真度和效率。这项工作首次从定量角度揭示了 LoRA 的记忆极限，对持续学习和知识更新有重要指导意义。

论文 LoRA 参数记忆微调

推荐理由：做 LLM 微调或持续学习的团队，终于有了量化记忆容量的理论工具——MemFT 能直接帮你优化训练预算分配，建议做 LoRA 相关工作的点开看看。

原文

5月22日

11:35

官方账号arXiv cs.LG@Javad Parsa, Enis Simsar, Amir Joudaki, Thomas Hofmann, André M. H. Teixeira

精选

SeqLoRA 是一种针对文本到图像扩散模型的高效微调方法，解决了多概念组合生成中的表示干扰问题。现有模块化方法要么依赖昂贵的后处理融合，要么冻结适配子空间，限制了表达力和概念保真度。SeqLoRA 通过双层优化联合优化两个 LoRA 因子，并建立强收敛保证，从理论上证明学习 LoRA 基比固定基方法更有效减少干扰。实验显示，SeqLoRA 在多达 101 个概念上提升了身份保持和可扩展性，无需昂贵融合，减少了属性干扰。

论文 LoRA 多概念生成扩散模型

推荐理由：做多概念图像生成的团队终于有了一个兼顾保真度和可扩展性的方案——SeqLoRA 用双层优化解决了 LoRA 的干扰问题，支持上百个概念组合，做个性化扩散模型的开发者值得一试。

原文

5月21日

10:22

官方账号arXiv cs.LG@Yongkang Liu, Xing Li, Mengjie Zhao, Shanru Zhang, Zijing Wang, Qian Li, Shi Feng, Feiliang Ren, Daling Wang, Hinrich Schütze

精选

SMoA（频谱调制适配器）是一种新的参数高效微调方法，旨在解决LoRA在低秩设置下表达能力受限的问题。理论表明，LoRA微调仅能捕获预训练权重矩阵的前r个奇异值，而增大秩虽能提升性能但会增加计算成本。SMoA通过将层划分为多个对齐的频谱块，并在每个对角块内应用Hadamard调制的低秩分支，从而在更小的参数预算下覆盖更广的预训练频谱方向。实验结果显示，在低预算设置下，SMoA在多项任务上的平均性能优于LoRA及其他同类基线方法。该方法为资源受限场景下的模型微调提供了更高效的解决方案。

论文参数高效微调 LoRA 频谱调制

推荐理由：做模型微调的开发者如果受限于LoRA的低秩瓶颈，SMoA提供了一种在更少参数下覆盖更广频谱方向的新思路，值得在资源敏感任务中尝试。

原文

5月20日

19:59

berryxia@berryxia

开源生图软件 Draw Things 用户发现，将 Z-Image-Fun-Lora-Distill（专为 Z-Image Base 训练的 2/4/8 步版本）与 Z Image Turbo 模型搭配使用，可将原本需要 8-9 步的生成过程缩短至 3-4 步，大幅提升本地生成速度，同时保持画质和细节稳定。这一意外组合打破了本地出图慢的瓶颈，对依赖 Draw Things 进行本地生成的用户是实用突破。详细配置和 LoRA 下载链接已在原帖评论区公开。

AI产品 Draw Things Z Image Turbo LoRA

推荐理由：这个组合直接把本地生图速度天花板顶高了一截，每天用 Draw Things 或 Z Image Turbo 的创作者可以立刻试试，3-4 步出图不再是梦。

原文

10:18

官方账号arXiv cs.AI@Ziye Chen, Hongbin Lin, Chenyu Zhang, Xiangda Yan, Yongjie Yang, Yao Shu

精选

零阶优化（ZO）无需存储反向传播激活即可微调大模型，而LoRA提供紧凑的可训练适配器。但两者结合存在秩悖论：增加LoRA秩会提升适配器容量，但标准两点ZO要么扰动依赖秩的坐标数，要么在原子更新下使有限差分信号不可观测。本文证明瓶颈是测量拓扑问题，而非需要外部子空间。LoRA已分解为匹配的秩1原子，每个原子是一个完整因子坐标块。AR1-ZO通过交替秩1原子查询和拓扑感知缩放，恢复秩不变的有效信号，无需辅助基、激活钩子、曲率估计或额外前向查询。实验表明，在标准两前向查询预算下，AR1-ZO使高秩LoRA在匹配预算的ZO方法中有效。

论文零阶优化 LoRA 大模型微调

推荐理由：解决了零阶优化与高秩LoRA结合时的信号坍缩问题，做大模型微调且受限于显存的开发者可以直接用AR1-ZO方法提升效果。

原文

5月15日

09:54

官方账号arXiv cs.AI@Paolo Mandica, Michał Brzozowski, Zuzanna Dubanowska, Neo Christopher Chung

精选

GPart 提出一种全新的参数高效微调方法，通过全局等距分区矩阵直接将低维可训练向量映射到模型全权重空间，完全去除了低秩瓶颈。与 LoRA 等现有方法不同，GPart 保持了映射的距离保持性（等距性），避免了优化景观扭曲问题。该方法仅需一个随机投影、一个超参数（维度 d）和 d+1 个存储值（向量加随机种子），极其简洁高效。实验表明，GPart 在自然语言理解、计算机视觉和数学推理任务上达到或超越现有 PEFT 方法的性能。这项工作为参数高效微调提供了更优雅的理论基础和实践路径。

论文参数高效微调 LoRA 等距映射

推荐理由：GPart 用极简设计解决了 LoRA 等方法的优化扭曲问题，做模型微调的研究者和工程师可以直接参考其理论框架，尤其适合追求极致参数效率的团队。

原文

5月14日

13:27

官方账号arXiv cs.LG@Mind Lab, :, Song Cao, Vic Cao, Andrew Chen, Kaijie Chen, Cleon Cheng, Steven Chiang, Kaixuan Fan, Hera Feng, Huan Feng, Arthur Fu, Jun Gao, Hongquan Gu, Aaron Guan, Nolan Ho, Mutian Hong, Hailee Hou, Peixuan Hua, Charles Huang, Miles Jiang, Nora Jiang, Yuyi Jiang, Qiuyu Jin, Fancy Kong, Andrew Lei, Kyrie Lei, Alexy Li, Lucian Li, Ray Li, Theo Li, Zhihui Li, Jiayi Lin, Kairus Liu, Kieran Liu, Logan Liu, Xiang Liu, Irvine Lu, Maeve Luo, Runze Lv, Pony Ma, Verity Niu, Anson Qiu, Vincent Wang, Rio Yang, Maxwell Yao, Carrie Ye, Regis Ye, Wenlin Ye, Josh Ying, Danney Zeng, Yuhan Zhan, Anya Zhang, Di Zhang, Ruijia Zhang, Sueky Zhang, Ya Zhang, Wei Zhao, Ada Zhou, Changhai Zhou, Yuhua Zhou, Xinyue Zhu, Murphy Zhuang

精选

MinT（MindLab Toolkit）是一个专为低秩适配（LoRA）后训练和在线推理设计的托管基础设施系统。它针对在少量昂贵基座模型上产生大量训练策略的场景，通过保持基座模型常驻内存，仅移动导出的LoRA适配器，避免了合并完整检查点的开销。MinT沿三个维度扩展：向上支持超过1T总参数的前沿密集和MoE架构；向下实现适配器仅占基座模型1%以下大小，在4B密集模型上步骤时间减少18.3倍；向外支持百万级可寻址策略目录和千级适配器并发波次。该系统使得在共享的1T级基座模型上训练和推理数百万LoRA策略成为可能。

论文 LoRA 训练/推理基础设施 MoE

推荐理由：做大规模LoRA训练和推理的团队终于有了正经的工程方案——MinT解决了策略数量爆炸时的资源浪费问题，用适配器分离和调度大幅降低成本，搞大模型服务的建议点开看看。

原文