神经网络基础：从函数构建到Transformer详解

1. 从函数到神经网络：理解AI的基础构建块

作为一名长期从事AI开发的工程师，我经常被问到"神经网络到底是什么"。要理解这个看似神秘的概念，我们需要从最基础的数学函数开始讲起。

线性函数y=wx+b是我们最熟悉的数学表达式之一。在实际应用中，这个简单的公式可以用来描述很多现象。比如预测房价时，w可以表示每平方米的价格，b表示基础房价。但现实世界往往更加复杂——房价不仅取决于面积，还受地段、房龄、朝向等多重因素影响。

关键理解：激活函数的作用就像给线性关系"打激素"，让死板的直线变成灵活多变的曲线，从而能够拟合更复杂的现实情况。

常见的激活函数包括：

• Sigmoid：将输出压缩到0-1之间，适合概率预测
• ReLU：简单高效，解决了梯度消失问题
• Tanh：输出范围-1到1，适合有正负输出的场景

当我们将多个这样的"激活后的线性函数"叠加起来，就形成了神经网络的基本结构。每一层的输出都成为下一层的输入，这种"套娃"式的设计让网络能够学习越来越抽象的特征。

2. 神经网络参数计算与优化

2.1 损失函数：衡量预测的好坏

在房价预测的例子中，我们需要一个量化指标来判断预测的准确性。假设我们有以下数据点：

计算均方误差(MSE)的公式是：

code复制MSE = (1/n) * Σ(y_true - y_pred)^2

这个例子中：

code复制MSE = [(400-380)² + (480-460)² + (550-540)²]/3 
    = (400 + 400 + 100)/3 
    ≈ 300

2.2 梯度下降：寻找最优参数

梯度下降的过程就像下山找最低点：

1. 随机初始化w和b（随便选个起点）
2. 计算当前点的梯度（看看哪个方向是下坡）
3. 沿负梯度方向更新参数（往山下走一步）
4. 重复直到收敛（走到最低点）

学习率(α)控制着每一步的步长：

• α太大：可能错过最低点
• α太小：收敛速度太慢

实际应用中，我们常用小批量梯度下降(Mini-batch GD)，它平衡了计算效率和收敛稳定性。

3. 神经网络训练中的关键技巧

3.1 过拟合与正则化

过拟合就像学生死记硬背考题却不会举一反三。我曾在图像分类项目中遇到过这种情况——模型在训练集上达到99%准确率，但在测试集上只有70%。

解决方法对比：

3.2 批归一化(BatchNorm)的妙用

在一次自然语言处理项目中，我发现加入BatchNorm后：

• 训练速度提升了约40%
• 可以使用更大的学习率
• 减少了对初始化的敏感度

这是因为BatchNorm对每层的输入进行了标准化，使得数据分布更加稳定。

4. 卷积神经网络：处理图像的神器

4.1 全连接层的问题

假设处理100×100像素的RGB图像：

• 输入维度：100×100×3=30,000
• 第一层隐藏层若有1,000个神经元
• 参数数量：30,000×1,000=30,000,000

这么庞大的参数量不仅计算成本高，还容易过拟合。

4.2 卷积运算的精妙之处

卷积核就像一个小型特征检测器。举个例子，3×3的边缘检测核：

code复制[[-1, -1, -1],
 [-1,  8, -1],
 [-1, -1, -1]]

这个核会对图像中变化剧烈的区域（边缘）产生强烈响应。在训练过程中，网络会自动学习到各种有用的特征检测器。

5. 从RNN到Transformer的进化

5.1 词嵌入：让词语有"意义"

传统的one-hot编码：

• "猫" = [1,0,0,...,0]
• "狗" = [0,1,0,...,0]
• "鱼" = [0,0,1,...,0]

词嵌入则可能将这三个词表示为：

• "猫" = [0.8, 0.2, -0.3,...]
• "狗" = [0.7, 0.3, -0.2,...]
• "鱼" = [0.1, -0.5, 0.9,...]

这样，"猫"和"狗"的距离会比它们与"鱼"的距离更近，反映了语义上的相似性。

5.2 Transformer的革命性设计

传统的RNN处理句子"The cat sat on the mat"时，必须按顺序处理每个词。而Transformer可以同时看到所有词，并通过注意力机制动态决定哪些词之间的关系更重要。

在翻译任务中，Transformer会：

1. 为每个词生成Query、Key、Value向量
2. 计算Query与所有Key的点积得到注意力分数
3. 用分数加权求和Value向量
4. 最终输出包含全局信息的词表示

6. Transformer内部机制详解

6.1 自注意力机制计算示例

假设有两个词向量：

• x1 = [0.2, 0.4, 0.6]
• x2 = [0.5, 0.1, 0.3]

学习到的权重矩阵：

code复制Wq = [[0.1, 0.2],
      [0.3, 0.4],
      [0.5, 0.6]]

计算q1：

code复制q1 = x1 · Wq 
   = 0.2*0.1 + 0.4*0.3 + 0.6*0.5 = 0.44
   = 0.2*0.2 + 0.4*0.4 + 0.6*0.6 = 0.56
   = [0.44, 0.56]

6.2 多头注意力的优势

在我的一个文本分类项目中，使用单头注意力准确率为88%，而8头注意力提升到了92%。这是因为不同注意力头可以捕捉不同类型的词语关系：

• 头1：关注语法关系
• 头2：关注语义相似性
• 头3：关注指代关系
• ...

7. 实战经验与技巧

7.1 参数初始化技巧

我在实践中发现这些初始化方法效果较好：

• 全连接层：He初始化（ReLU激活时）
• LSTM：正交初始化
• Transformer：缩放的正态分布

7.2 学习率调度策略

一个有效的学习率调度方案：

1. 前5个epoch：线性warmup
2. 然后cosine衰减
3. 在验证集loss停滞时减少为1/5

7.3 调试神经网络的方法

当模型表现不佳时，我的检查清单：

1. 检查数据输入是否正确
2. 确认损失函数是否在下降
3. 可视化中间层激活
4. 检查梯度是否正常流动
5. 尝试简化模型结构

在计算机视觉项目中，我曾通过特征图可视化发现某些卷积核根本没有被激活，这帮助我调整了网络深度和宽度。