精选理由
这篇论文提出了ARIADNE,一个不用训练就能自动为输入选对适配器的方法,在Llama 3.2上恢复了97%的上界性能,比现有路由方式更灵活。
ARIADNE是一个无需训练、与适配器无关的动态适配器选择框架。它通过计算每个适配器训练集嵌入的质心,在推理时根据无标签输入与质心的距离选择适配器。在Llama 3.2 1B Instruct上对23个NLP任务测试,恢复了97.44%的上界性能。扩展到44个任务时,平均选择准确率达到89.7%。无需访问适配器内部参数或额外训练。
AI 翻译 · 中文
ARIADNE是一个无需训练、与适配器无关的动态适配器选择框架。它通过计算每个适配器训练集嵌入的质心,在推理时根据无标签输入与质心的距离选择适配器。在Llama 3.2 1B Instruct上对23个NLP任务测试,恢复了97.44%的上界性能。扩展到44个任务时,平均选择准确率达到89.7%。无需访问适配器内部参数或额外训练。
The increasing deployment of parameter-efficient fine-tuning (PEFT) has led to model ecosystems in which a single backbone is paired with many task-specialized adapters. In this setting, inference-time queries often arri…