1. 模型架构设计基础
神经网络架构设计是深度学习领域的核心课题。传统的网络结构设计依赖专家经验,而近年来兴起的神经网络架构搜索(NAS)技术正逐步改变这一局面。NAS-RL作为早期开创性工作,首次将强化学习引入架构搜索领域,为后续研究奠定了基础。
在NAS-RL框架中,控制器(通常实现为RNN或LSTM)通过策略梯度算法进行训练。这个循环神经网络会逐步生成描述神经网络架构的字符串,每个生成的子网络在验证集上的准确率作为奖励信号反馈给控制器。这种设计巧妙地将架构搜索问题转化为序列生成问题,使模型能够自动探索广阔的架构空间。
关键突破:NAS-RL首次证明了无需人工干预的自动架构搜索可行性,其核心创新在于将网络层类型、连接方式等架构参数编码为RNN的输出序列。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 控制器设计与训练机制
2.1 RNN控制器结构
控制器RNN采用分层设计,每层对应子网络的一个决策点。以卷积神经网络为例,每个决策点需要确定:
- 卷积核尺寸(3x3、5x5等)
- 卷积核数量(32、64、128等)
- 跳跃连接方式(无连接、恒等连接等)
这些选择通过softmax分类器实现,整个架构描述串通过RNN自回归方式逐步生成。实验表明,LSTM控制器相比普通RNN能更好地捕捉长距离依赖关系,特别在处理深层网络架构时表现更优。
2.2 策略梯度训练
采用REINFORCE算法进行训练,其梯度计算公式为:
∇θJ(θ) = E[∑t=1T ∇θ log πθ(at|a(t-1):1)R]
其中R是子网络在验证集上的准确率。为降低方差,实际实现时会减去基线准确率(如已训练模型的平均准确率)。每个batch包含多个子网络的训练和评估,耗时较长但能保证探索充分性。
3. 搜索空间设计与优化
3.1 基本搜索单元
NAS-RL定义了灵活的搜索空间,包含以下核心组件:
- 卷积层(不同核尺寸/通道数)
- 池化层(最大/平均池化)
- 全连接层
- 跳跃连接(残差连接)
每个层的超参数通过分类选择,连续参数(如学习率)需离散化处理。搜索空间大小随网络深度指数增长,这也是早期NAS计算成本高的主要原因。
3.2 跳跃连接实现
控制器需要预测两个关键信息:
- 是否添加跳跃连接
- 连接的起始层索引
实现时采
