NeuFS:面向LLM的神经元感知主动少样本学习

Neuron-Aware Active Few-Shot Learning for LLMs

精选理由

这篇论文把样本选择从看输出结果改成看神经元内部活动,比传统方法更精准,适合专门领域的少样本学习场景。

AI 摘要

NeuFS提出一种基于神经元激活模式的主动少样本学习框架,替代传统基于输出熵或语义相似性的样本选择方法。它在推理和文本分类两个任务共三个数据集上超越现有AFSL基线。消融实验证明内部神经元激活信号比外部嵌入在选择信号上更有效。该方法通过双标准策略兼顾样本多样性和模型易幻觉样本识别。

AI 翻译 · 中文

NeuFS提出一种基于神经元激活模式的主动少样本学习框架,替代传统基于输出熵或语义相似性的样本选择方法。它在推理和文本分类两个任务共三个数据集上超越现有AFSL基线。消融实验证明内部神经元激活信号比外部嵌入在选择信号上更有效。该方法通过双标准策略兼顾样本多样性和模型易幻觉样本识别。

arXiv cs.LGActive Few-Shot Learning (AFSL) adapts LLMs to specialized domains by identifying the most valuable unlabeled samples for annotation and use as few-shot demonstrations, effectively reducing human annotation costs while p