精选理由
GPart 用极简设计解决了 LoRA 等方法的优化扭曲问题，做模型微调的研究者和工程师可以直接参考其理论框架，尤其适合追求极致参数效率的团队。
GPart 提出一种全新的参数高效微调方法，通过全局等距分区矩阵直接将低维可训练向量映射到模型全权重空间，完全去除了低秩瓶颈。与 LoRA 等现有方法不同，GPart 保持了映射的距离保持性（等距性），避免了优化景观扭曲问题。该方法仅需一个随机投影、一个超参数（维度 d）和 d+1 个存储值（向量加随机种子），极其简洁高效。实验表明，GPart 在自然语言理解、计算机视觉和数学推理任务上达到或超越现有 PEFT 方法的性能。这项工作为参数高效微调提供了更优雅的理论基础和实践路径。
AI 翻译 · 中文
GPart 提出一种全新的参数高效微调方法，通过全局等距分区矩阵直接将低维可训练向量映射到模型全权重空间，完全去除了低秩瓶颈。与 LoRA 等现有方法不同，GPart 保持了映射的距离保持性（等距性），避免了优化景观扭曲问题。该方法仅需一个随机投影、一个超参数（维度 d）和 d+1 个存储值（向量加随机种子），极其简洁高效。实验表明，GPart 在自然语言理解、计算机视觉和数学推理任务上达到或超越现有 PEFT 方法的性能。这项工作为参数高效微调提供了更优雅的理论基础和实践路径。
Low-rank adaptation (LoRA) has become the dominant paradigm for parameter-efficient fine-tuning (PEFT) of large language models (LLMs). However, its bilinear structure introduces a critical limitation: the mapping from t…