Event ·Multi-source

MarineSparkLM-4B:基于 LoRA 适配的海洋工程轻量模型

研究团队以 40 亿参数的 OceanGPT-basic-4B-Instruct 为基座,在单台 NVIDIA DGX Spark 上通过 LoRA 适配训练出海洋工程领域模型 MarineSparkLM-4B。每个适配器仅更新 4.06 亿参数中的 3300 万(0.81%),第一个适配器用 4 小时 40 分钟、第二个仅用 10 分钟完成训练。 第一个适配器在 6160 万 token 的语料上做 next-token prediction,语料来自 13879 篇源文档,经去重和两级关键词过滤后保留 7069 篇,验证损失从 2.082 降到 1.976。由于测试发现该适配器在检索增强的压载水问答提示下仍会偏题,团队又用 2295 个问答对训练了第二个指令适配器,且损失只计算答案 token。 在 20 个保留提示、满分 120 分的人工评测中,基座模型、续训适配器、指令适配器、指令适配器加检索分别得 42、56、84、88 分。绝对准确率仍然偏低:无检索时 40 题对 14 题,有检索时对 20 题。论文还公开了完整流程和两个负结果,包括一次 100 步内过拟合的指令训练。

Current read

这篇论文把训练过程写得很透明:一台 DGX Spark、两块 LoRA、十来个小时就做出领域模型,还公布了两条失败路线。做垂直领域微调的工程师能直接抄它的数据清洗和评测方法,也能看到检索增强带来的实际提升幅度。

11 sources31° AI heatLast updated 2026/11/14 04:24:20

Evidence

11 sources
Primary sourcearXiv cs.AI
View source
Related source 2Sebastian Raschka
View source
Related source 3techcrunch
View source
Related source 4LMSYS Org (SGLang)
View source
Related source 6TestingCatalog
View source
Related source 7NVIDIA AI
View source
Related source 8SambaNova
View source
Related source 9rohanpaul_ai
View source
Related source 10AWS Machine Learning Blog
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.