精选理由
DALorRA让LLM微调不再过度自信，用稀疏低秩适应提升校准，还不损失推理能力。
DALorRA利用变分贝叶斯稀疏框架，对LoRA的低秩分解中的每个秩分量施加随机掩码，从而引入贝叶斯正则化。该方法将不确定性估计从高维参数空间转移到轻量级的秩空间，实现高效校准。实验结果显示DALorRA在不牺牲推理准确性的前提下，有效减轻了LLM的过度自信问题。
AI 翻译 · 中文
DALorRA利用变分贝叶斯稀疏框架，对LoRA的低秩分解中的每个秩分量施加随机掩码，从而引入贝叶斯正则化。该方法将不确定性估计从高维参数空间转移到轻量级的秩空间，实现高效校准。实验结果显示DALorRA在不牺牲推理准确性的前提下，有效减轻了LLM的过度自信问题。
Large language models (LLMs) exhibit remarkable reasoning capabilities, but their task-specific fine-tuning is notoriously plagued by overconfidence, severely hindering trustworthy deployment. We propose Data-Adaptive Lo…