11:43
官方账号arXiv cs.LG@Tom Saliencro, Rohan Desai, Priya Nair, Maya Lindqvist, Daniel Whitmore
推荐理由：MoE-LoRA 不用固定 k 值了，CARE 根据 token 难度自动选专家，在 LLaMA 和 Qwen 上效率更高，还能顺手做 OOD 检测。
CARE
共 1 条相关 AI 资讯
7月29日
11:43
Mixture-of-Experts (MoE) LoRA 通常对每个 token 固定激活 k 个专家，但易在简单 token 上浪费计算、难 token 上欠拟合。CARE 利用路由器输出分布作为不确定性信号，以核采样方式按置信度阈值自适应选择专家，且当已选专家分歧时小幅扩展。在 LLaMA-3.1-8B 和 Qwen2.5-7B 的 8 个常识基准、数学、代码和知识任务上，CARE 在相同计算量下优于固定 top-k MoE-LoRA，并能在激活更少专家时匹敌固定 k=4 基线。置信度与分歧信号还提升了 OOD 检测效果，超越 MSP、熵和多遍代理方法。