精选理由
Neuron-OPSD用神经元信号挑训练数据，让大模型自己教自己，不用人工标注，效果还更稳。
论文提出Neuron-OPSD框架，解决无标注自蒸馏中SFT/GRPO变体导致域外性能下降、奖励型on-policy RL校准误差扩张的问题。该框架利用模型内部神经元激活值指导训练数据选择和教师上下文构建，通过on-policy蒸馏训练。在多个专业领域基准上，Neuron-OPSD提升域内任务性能，同时保持跨域泛化并减轻校准崩溃。该方法不依赖任何真实标签或外部反馈。
AI 翻译 · 中文
论文提出Neuron-OPSD框架，解决无标注自蒸馏中SFT/GRPO变体导致域外性能下降、奖励型on-policy RL校准误差扩张的问题。该框架利用模型内部神经元激活值指导训练数据选择和教师上下文构建，通过on-policy蒸馏训练。在多个专业领域基准上，Neuron-OPSD提升域内任务性能，同时保持跨域泛化并减轻校准崩溃。该方法不依赖任何真实标签或外部反馈。
Post-training large language models (LLMs) without real-world interaction feedback or human-labeled supervision remains challenging, particularly in specialized domains where expert annotations are costly to obtain. Rece…