论文精选

LoRA+NEFTune 微调 DeepSeek-R1-8B 金融 NER 达 0.912 F1

Instruction Finetuning DeepSeek-R1-8B Model Using LoRA and NEFTune

精选理由

金融 NER 是结构化非结构化数据的关键,做金融 NLP 的团队可以直接用这套方法低成本提升实体识别精度,值得一试。

AI 摘要

该研究将 DeepSeek-R1-8B 与 LoRA 和 NEFTune 结合,用于金融命名实体识别。通过将 1693 条标注句子转换为指令-输入-输出三元组,并插入轻量 LoRA 矩阵及在训练时添加均匀噪声,模型在七类实体上达到 0.912 的 micro-F1,超越 Llama3-8B、Qwen3-8B 等基线。这证明低成本微调开源模型即可在专业领域取得优异效果。

AI 翻译 · 中文

该研究将 DeepSeek-R1-8B 与 LoRA 和 NEFTune 结合,用于金融命名实体识别。通过将 1693 条标注句子转换为指令-输入-输出三元组,并插入轻量 LoRA 矩阵及在训练时添加均匀噪声,模型在七类实体上达到 0.912 的 micro-F1,超越 Llama3-8B、Qwen3-8B 等基线。这证明低成本微调开源模型即可在专业领域取得优异效果。

arXiv: DeepSeekFinancial named-entity recognition (NER) is essential for translating unstructured financial reports and news into structured knowledge graphs. However, general-purpose large language models (LLMs) often misclassify fina