DeepSeek-Coder-6.7B 相关 AI 资讯 · AI 热点

7月8日

09:04

09:04

官方一手arXiv: DeepSeek@Kabir Dev Paul Baghel, Radu Timofte, Dmitry Ignatov

该论文提出一种源引导的候选生成协议，利用同族强源模型指导弱目标模型的神经网络修改，避免无效生成。在CIFAR-10上，源引导候选达到0.5049准确率，优于非源候选的0.2398，提升弱目标（原0.1254）0.2651；五轮检查后保持0.7686 vs 0.4839。在SVHN AlexNet上使用DeepSeek-Coder-6.7B，源引导迁移达0.7880 vs 0.2254，重复实验达0.8069 vs 0.2509。直接复制源配置仅得0.1959，表明LLM适应而非复制。家庭级分析显示AlexNet家族6/8胜，alt_nn1家族8/10胜。

论文 DeepSeek-Coder-6.7B CIFAR-10 SVHN AlexNet 神经网络生成

推荐理由：这篇论文告诉你LLM不仅能写代码，还能帮你自动改进神经网络架构，效果比瞎试好得多，尤其适合有相似模型族的情况。

6月23日

12:06

12:06

官方一手arXiv: DeepSeek@Haitham Al-Shami, Rohail Malik, Riku Ala-Laurinaho, Jari Vepsäläinen, Raine Viitala

本文提出一个人机协作框架，自动识别并修复SysML v2模型中的语义错误。框架结合微调的小语言模型（SLM）与领域知识图谱，其中知识图谱编码系统元素间的物理兼容性规则。通过系统引入领域违规，知识图谱指导生成合成训练数据，并在推理时增强模型以提供符合工程约束的修复建议。在车辆系统领域，对Qwen2.5-Coder-1.5B和DeepSeek-Coder-6.7B进行微调，输出统一diff补丁来定位故障并呈现候选修复。在1184个测试样本上，微调将语义故障修复率从低于3%提升至超过91%，且补丁输出减少令牌长度超过60%。

论文 SysML v2 Qwen2.5-Coder-1.5B DeepSeek-Coder-6.7B 知识图谱模型验证

推荐理由：这篇论文提出一个好方法：用知识图谱加小模型自动修SysML v2语义错误，修复率飙到91%，相比传统编译器管不了语义错误，这招很实用。

6月18日

09:22

09:22

官方一手arXiv: DeepSeek@Siddharth Aphale, Kelly Liu

一项研究分析了SFT（监督微调）的过度训练对RLVR（基于强化学习的验证）训练的影响。使用Qwen2.5-Coder-3B和DeepSeek-Coder-6.7B模型，发现SFT深度增加时，预RL的pass@1上升，但GRPO的pass@10从0.806降至0.481（3种子均值，n=20）。预RL熵与GRPO结果正相关（ρ=+0.69）。研究者提出一个两阶段诊断方法，结合预RL熵筛选和早期GRPO熵监控，可标记高风险检查点。简单KL正则化和标签平滑无法挽救已崩溃的检查点。

论文 Qwen2.5-Coder-3B DeepSeek-Coder-6.7B SFT RLVR 强化学习

推荐理由：这篇论文发现了SFT过训练会搞崩GRPO训练的秘密，还给出了诊断方法来提前止损。做RLHF或强化学习训练的可以看看。