研究发现简单提示+少量示例即可让小模型做好自然语言推理

一篇论文发现，用一条简短直接的提示词加少量示例（In-Context Learning），就能让小型开源模型在自然语言推理（NLI）任务上追平更复杂的提示方法。NLI 任务判断一个句子是蕴涵、矛盾还是与另一句无关，此前相关工作普遍依赖复杂提示与采样技巧，假设示例越多越好。 研究团队测试了 Gemma 2 9B、Mistral 7B、Llama 3.1 8B 等 5 个小型开源模型，在 3 个 NLI 数据集上使用 0 到 15 个示例的单一简短提示，不带推理步骤。结果是 Mistral 7B 达到 63.4% 的 MNLI 准确率，超过已发表的、对同一模型使用上下文采样方法的成绩；Gemma 2、Llama 3.1 和 Mistral 在 MNLI 和 SciTail 上用 1 个示例和 15 个示例的成绩基本相同。 对开发者的含义是：小型开源模型做分类类任务时，不必堆砌复杂提示或大量示例，一条干净的直接提示加少量示例往往已经接近最优，能省掉不少调参和 token 成本。