神经网络梯度下降原理与优化实践

1. 梯度：神经网络优化的指南针

在神经网络的世界里，梯度扮演着至关重要的角色。想象一下你正在一座复杂的多维山峰上寻找最低点，四周浓雾弥漫，视线受阻。梯度就像你手中的精密指南针，始终指向当前所在位置最陡峭的下坡方向。这个简单的数学概念，正是现代深度学习能够解决复杂问题的关键所在。

1.1 梯度的数学本质

梯度本质上是一个向量，它包含了多元函数在各个自变量方向上的偏导数。对于一个二元函数f(x₀,x₁)，其梯度表示为∇f=(∂f/∂x₀, ∂f/∂x₁)。这个向量指向函数值增长最快的方向，而它的反方向则是函数值下降最快的路径。

在实际计算中，我们常常使用数值微分的方法来近似求解梯度。核心思想是通过给自变量一个微小的扰动h（通常取1e-4量级），观察函数值的变化：

python复制def numerical_gradient(f, x):
    h = 1e-4  # 0.0001
    grad = np.zeros_like(x)  # 生成和x形状相同的数组
    
    for idx in range(x.size):
        tmp_val = x[idx]
        # 计算f(x+h)
        x[idx] = tmp_val + h
        fxh1 = f(x)
        # 计算f(x-h)
        x[idx] = tmp_val - h
        fxh2 = f(x)
        
        grad[idx] = (fxh1 - fxh2) / (2*h)
        x[idx] = tmp_val  # 还原值
        
    return grad

注意：数值微分虽然直观易懂，但在实际神经网络训练中，我们更多使用解析梯度（通过反向传播算法计算），因为它的计算效率更高，精度也更好。

1.2 梯度的几何意义

让我们以函数f(x₀,x₁)=x₀²+x₁²为例，观察其梯度场的表现。在点(3,4)处，梯度为(6,8)；在点(0,2)处为(0,4)；在(3,0)处则是(6,0)。这些梯度向量有几个重要特征：

1. 所有向量都指向函数的最小值点(0,0)
2. 离最小值点越远，梯度向量的长度越大
3. 梯度方向始终垂直于等高线

这种特性并非巧合。对于凸函数（如我们的例子），梯度确实会指向全局最小值。但在更复杂的非凸函数中，梯度指向的可能是局部最小值或鞍点，这也是神经网络训练中可能陷入局部最优的理论根源。

2. 梯度法：神经网络的优化引擎

2.1 梯度下降的基本原理

梯度法的核心思想非常简单：沿着梯度的反方向小步前进，逐步逼近函数的最小值。数学表达式为：

x₀ = x₀ - η(∂f/∂x₀)
x₁ = x₁ - η(∂f/∂x₁)

其中η称为学习率(learning rate)，控制着每次更新的步长大小。Python实现如下：

python复制def gradient_descent(f, init_x, lr=0.01, step_num=1