1. 神经网络:高维数据的智慧投影
神经网络本质上是一种数学函数映射器,它通过层层非线性变换,把高维输入数据压缩或转化为更有意义的表示。想象你站在一个漆黑的房间里,手里握着一团杂乱无章的毛线球(原始数据)。神经网络就像一套精密的纺织机械,能把这团毛线重新编织成一件毛衣(有用信息)——这个过程需要理解毛线的材质、颜色分布和编织规律(特征提取)。
在MNIST手写数字识别任务中,784个像素点(28×28图像)构成了一个784维的输入空间。每个像素的灰度值是这个空间的一个坐标轴。人类书写"7"时,可能从左上角起笔向右下角划直线,这个动作在高维空间中表现为特定像素点的亮度变化轨迹。神经网络的工作就是找到这些轨迹的数学规律。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 激活函数:非线性世界的钥匙
2.1 为什么需要非线性
如果只有线性变换(y=wx+b),多层神经网络会退化为单层网络。假设我们堆叠三个线性层:
code复制Layer3(Layer2(Layer1(x))) = W3(W2(W1x + b1) + b2) + b3
= (W3W2W1)x + (W3W2b1 + W3b2 + b3)
最终仍是一个线性函数。非线性激活函数打破了这种退化,让网络可以逼近任意复杂函数。
2.2 常见激活函数对比
以MNIST实验为例,不同激活函数表现差异明显:
| 激活函数 | 测试准确率 | 训练时间 | 梯度消失风险 |
|---|---|---|---|
| Sigmoid | 98.2% | 较长 | 高 |
| ReLU | 99.1% | 短 | 低 |
| Mish | 99.3% | 中等 | 极低 |
Mish函数(x*tanh(ln(1+e^x)))在MNIST上表现优异,因为它:
- 保留负值信息(不像ReLU直接归零)
- 梯度始终≥0.3,缓解梯度消失
- 平滑曲线使优化更稳定
实际工程中选择建议:优先尝试ReLU,对精度要求高的场景测试Mish,RNN中可考虑tanh
3. 反向传播:误差的逆向工程
3.1 链式法则的具象化
考虑一个三层的简单网络:
