11:59arXiv cs.LG@Yu-Cheng Shi, Zhen-Hao Xie, Jun-Tao Tang, Da-Wei Zhou多模态大语言模型(MLLMs)通过指令微调表现出色,但实际部署需要持续获取新的视觉语言能力,因此多模态持续指令微调(MCIT)至关重要。现有方法常采用稀疏架构(如混合LoRA专家)通过图像-文本相似度路由,但任务响应结构不同时可能共享高度相似的语义,导致路由错误和梯度干扰。ProtoAda提出格式感知的任务原型,将任务分配与路由对齐到语义和输出结构,并通过几何感知方式整合格式兼容的更新,有效重用和优化现有参数。实验表明,ProtoAda在多个基准上表现优异,尤其对答案结构易被顺序微调破坏的任务效果显著。论文多模态大语言模型持续学习指令微调LoRA专家任务路由推荐理由:做多模态持续学习的团队终于有了解决任务路由混乱的方案——ProtoAda通过原型感知输出结构,避免VQA和接地任务互相污染,建议关注论文中的几何整合细节。原文
10:42arXiv: DeepSeek@Md. Asaduzzaman Shuvo, Mahedi Hasan, Md. Tashin Parvez, Azizul Haque Noman, Md. Shafayet Hossain Ovi精选多语言大模型在处理孟加拉语等低资源语言时,常因文化语境缺失导致敬语使用错误。研究者构建了BLADE数据集,包含4196个精心设计的对话对,用于指令微调。通过LoRA适配器对DeepSeek-8B和LLaMA-3.2-3B进行参数高效微调,模型在结构保真度和敬语对齐上显著提升。该工作为低资源多语言生成中的语用鸿沟提供了基准。代码和数据集已开源。论文多语言模型孟加拉语敬语对齐指令微调低资源语言推荐理由:做低资源语言NLP或文化敏感对话系统的团队,这个数据集直接解决了敬语对齐的痛点,可以拿来微调自己的模型试试。原文