MarineSparkLM-4B:基于 LoRA 适配的海洋工程轻量模型
研究团队以 40 亿参数的 OceanGPT-basic-4B-Instruct 为基座,在单台 NVIDIA DGX Spark 上通过 LoRA 适配训练出海洋工程领域模型 MarineSparkLM-4B。每个适配器仅更新 4.06 亿参数中的 3300 万(0.81%),第一个适配器用 4 小时 40 分钟、第二个仅用 10 分钟完成训练。 第一个适配器在 6160 万 token 的语料上做 next-token prediction,语料来自 13879 篇源文档,经去重和两级关键词过滤后保留 7069 篇,验证损失从 2.082 降到 1.976。由于测试发现该适配器在检索增强的压载水问答提示下仍会偏题,团队又用 2295 个问答对训练了第二个指令适配器,且损失只计算答案 token。 在 20 个保留提示、满分 120 分的人工评测中,基座模型、续训适配器、指令适配器、指令适配器加检索分别得 42、56、84、88 分。绝对准确率仍然偏低:无检索时 40 题对 14 题,有检索时对 20 题。论文还公开了完整流程和两个负结果,包括一次 100 步内过拟合的指令训练。
Current read
这篇论文把训练过程写得很透明:一台 DGX Spark、两块 LoRA、十来个小时就做出领域模型,还公布了两条失败路线。做垂直领域微调的工程师能直接抄它的数据清洗和评测方法,也能看到检索增强带来的实际提升幅度。
Evidence
11 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.