用 SFT 与 QLoRA 在笔记本 iGPU 上微调 Gemma 4 边缘模型生成 MATLAB 信号处理代码
一篇 arXiv 论文对 Gemma 4 边缘模型 E2B 和 E4B 做监督微调(SFT),训练数据只有 66 条经过人工校验的示例,覆盖 11 类 MATLAB 信号处理子任务,全程在笔记本集成显卡(iGPU)上用 LoRA 和 QLoRA 完成。微调后的 8-bit int8 模型通过 OpenVINO 部署,配合适配器运行。在留出测试集的确定性检查器评分下,E2B 的通过率从 18/66 提升到 37/66(LoRA 和 QLoRA 均如此),E4B 用 QLoRA 则从 32/66 提升到 47/66。 作者逐一分析了全部 159 个失败程序,发现适配器主要消除的是约定类错误,比如滞后项的符号、单位、数组形状等 DSP 惯例问题,但对构建信号和噪声这类深层错误几乎没有改善。代价方面,适配器在推理时会拖慢生成速度 17-19%。这说明小模型在特定领域的惯例层面很容易被少量数据纠正,但真正的推理型错误仍难以用 SFT 解决。 对需要在离线环境写 DSP 代码的工程师来说,这项工作给出了一条可行的低成本路径:数据量不需要大,66 条示例就够,且硬件门槛仅为笔记本 iGPU。相比云端方案,这套流程牺牲不到两成的速度换取离线可用和约定正确率的翻倍提升。
Current read
66条手工示例就能把Gemma 4的MATLAB信号处理代码通过率从18/66拉到37/66,全程只用笔记本iGPU加QLoRA。论文还把159个失败案例逐个读了一遍,告诉你SFT能修什么、修不了什么,做离线小模型微调的人值得照着抄流程。
Evidence
3 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.