LLM驱动神经网络生成:同族架构指导下的迁移与适应

LLM-Driven Neural Network Generation with Same-Family Architecture Guidance: Disentangling Transfer and Adaptation

精选理由

这篇论文告诉你LLM不仅能写代码,还能帮你自动改进神经网络架构,效果比瞎试好得多,尤其适合有相似模型族的情况。

AI 摘要

该论文提出一种源引导的候选生成协议,利用同族强源模型指导弱目标模型的神经网络修改,避免无效生成。在CIFAR-10上,源引导候选达到0.5049准确率,优于非源候选的0.2398,提升弱目标(原0.1254)0.2651;五轮检查后保持0.7686 vs 0.4839。在SVHN AlexNet上使用DeepSeek-Coder-6.7B,源引导迁移达0.7880 vs 0.2254,重复实验达0.8069 vs 0.2509。直接复制源配置仅得0.1959,表明LLM适应而非复制。家庭级分析显示AlexNet家族6/8胜,alt_nn1家族8/10胜。

AI 翻译 · 中文

该论文提出一种源引导的候选生成协议,利用同族强源模型指导弱目标模型的神经网络修改,避免无效生成。在CIFAR-10上,源引导候选达到0.5049准确率,优于非源候选的0.2398,提升弱目标(原0.1254)0.2651;五轮检查后保持0.7686 vs 0.4839。在SVHN AlexNet上使用DeepSeek-Coder-6.7B,源引导迁移达0.7880 vs 0.2254,重复实验达0.8069 vs 0.2509。直接复制源配置仅得0.1959,表明LLM适应而非复制。家庭级分析显示AlexNet家族6/8胜,alt_nn1家族8/10胜。

arXiv: DeepSeekLarge language models (LLMs) can generate neural-network modifications, but unrestricted generation is often invalid or harmful. This paper studies a narrower setting: improving a weak target model using a stronger same-