11:59arXiv cs.LG@Yu-Cheng Shi, Zhen-Hao Xie, Jun-Tao Tang, Da-Wei Zhou多模态大语言模型(MLLMs)通过指令微调表现出色,但实际部署需要持续获取新的视觉语言能力,因此多模态持续指令微调(MCIT)至关重要。现有方法常采用稀疏架构(如混合LoRA专家)通过图像-文本相似度路由,但任务响应结构不同时可能共享高度相似的语义,导致路由错误和梯度干扰。ProtoAda提出格式感知的任务原型,将任务分配与路由对齐到语义和输出结构,并通过几何感知方式整合格式兼容的更新,有效重用和优化现有参数。实验表明,ProtoAda在多个基准上表现优异,尤其对答案结构易被顺序微调破坏的任务效果显著。论文多模态大语言模型持续学习指令微调LoRA专家任务路由推荐理由:做多模态持续学习的团队终于有了解决任务路由混乱的方案——ProtoAda通过原型感知输出结构,避免VQA和接地任务互相污染,建议关注论文中的几何整合细节。原文
11:29arXiv cs.AI@Edwin Jose精选SwarmHarness 提出了一种去中心化协议,让闲置的 GPU 算力(个人工作站、推理服务器、边缘设备)通过技能节点自组织成计算集群,无需中央协调或区块链基础设施。其核心组件包括基于分布式哈希表的节点发现、基于效用函数的任务路由,以及基于 Shapley 值的信用激励机制。节点通过贡献算力赚取信用,消耗信用提交任务,不贡献的节点信用耗尽后失去路由优先级,形成自调节的参与经济。该协议不仅用于算力共享,还作为自主分布式 AI 智能体网络的基础原语,支持智能体之间无需人工介入地雇佣算力、路由子任务和结算信用。论文去中心化算力智能体网络激励对齐任务路由Shapley值推荐理由:SwarmHarness 解决了闲置算力无法安全共享的核心痛点,做分布式计算或 AI 智能体网络的开发者可以直接参考其激励设计,无需依赖中心化云市场或复杂区块链。原文