10:21
官方账号arXiv cs.AI@Abhishek Shukla, Ankur Sinha, Faiz Hamid
推荐理由：这篇论文用可微优化替代离散搜索，Neuron Gating和Mixed Activation找紧凑网络，MNIST上0.26M参数就达99.63%准确率，比DARTS表现更好。
Neuron Gating
共 1 条相关 AI 资讯
8月17日
10:21
该论文提出一个通用的双层优化框架，用于在MLP、CNN、RNN和Transformer等架构中搜索紧凑网络。三种可扩展方法分别基于神经元门控（NAS-NG）、混合激活（NAS-MA）及两者结合（NAS-NGMA），将离散决策转化为连续松弛。在MNIST上，NAS-NGMA达到98.68%测试准确率，MLP参数为7.69M；NAS-NG以0.26M CNN参数取得99.63%准确率。在CIFAR-10上，所提方法始终优于vanilla DARTS。实验还显示NAS-NG能优化过度参数化架构，在提升准确率的同时减少参数。