全连接神经网络与CNN核心原理及实战技巧

1. 全连接神经网络基础解析

第一次接触深度学习时，全连接神经网络（Fully Connected Neural Network）往往是最容易上手的入门模型。这种网络结构就像城市中的供水系统——输入层是水源，隐藏层是输水管网，输出层则是各家各户的水龙头。数据从输入层流向输出层的过程，实际上是在经历一系列加权计算和非线性变换。

1.1 网络结构与前向传播

一个典型的三层全连接网络包含：

• 输入层：28×28像素的MNIST手写数字图像会展开为784维向量
• 隐藏层：常用128或256个神经元，使用ReLU激活函数
• 输出层：10个神经元对应0-9分类，使用Softmax激活

前向传播的数学本质是矩阵乘法：

python复制# 以单隐藏层为例
hidden = relu(np.dot(inputs, W1) + b1)
output = softmax(np.dot(hidden, W2) + b2)

其中W1的形状为(784,128)，W2为(128,10)，这种设计使得网络可以学习从像素空间到类别空间的非线性映射。

1.2 反向传播与参数更新

反向传播算法是神经网络训练的引擎，其核心是链式求导法则。以交叉熵损失函数为例：

1. 计算输出层梯度：∂L/∂W2 = (pred - true) × hidden.T
2. 隐藏层梯度：∂L/∂W1 = (W2.T @ (pred - true)) * relu_derivative × inputs.T
3. 使用SGD更新规则：W = W - lr * ∂L/∂W

实际训练时建议使用Adam优化器，其自适应学习率特性对新手更友好。典型初始学习率设为0.001，batch_size=64。

2. CNN核心原理剖析

当处理图像数据时，全连接网络的参数量会变得难以承受（224×224彩色图像展开后输入层就有150,528个节点）。卷积神经网络(CNN)通过局部连接和权值共享两大特性解决了这个问题。

2.1 卷积层工作原理

卷积核就像一个小型特征探测器，以3×3或5×5的窗口在图像上滑动扫描。每个卷积核会学习提取特定特征：

• 边缘检测核：[[-1,0,1],[-1,0,1],[-1,0,1]]
• 锐化核：[[0,-1,0],[-1,5,-1],