1. 神经网络发展简史:从生物启发到数学实现
1957年,心理学家Frank Rosenblatt在康奈尔航空实验室发明了感知器算法,这被认为是神经网络发展史上的第一个里程碑。感知器的设计灵感直接来源于生物神经元的工作机制——它模拟了神经元接收输入信号、加权求和、阈值激活的基本特性。早期的感知器模型由输入层和输出层直接相连,采用简单的阶跃函数作为激活函数,能够解决线性可分问题。
1969年,Minsky和Papert出版了《Perceptrons》一书,指出了单层感知器无法解决异或(XOR)问题的致命缺陷。这个发现直接导致了第一次神经网络研究的寒冬,直到1986年Rumelhart等人提出误差反向传播算法(BP算法),才重新点燃了研究热情。
BP神经网络的核心突破在于:
- 引入了隐藏层结构,形成了多层前馈网络
- 采用Sigmoid等可微函数替代阶跃函数
- 通过链式法则实现了误差的逐层反向传播
关键提示:BP算法的数学本质是梯度下降法在复合函数求导中的应用,理解这一点对掌握深度学习至关重要。
需要模型API调用? 免费领10W Token,多模型网关一键接入 Claude、DeepSeek 等主流模型。
2. 感知器模型详解:神经网络的基石
2.1 数学模型与工作原理
感知器的数学模型可以用以下公式表示:
code复制y = f(∑(wi * xi) + b)
其中:
- xi是输入特征
- wi是对应的权重
- b是偏置项
- f是激活函数(原始感知器使用单位阶跃函数)
在Python中可以用NumPy简单实现:
python复制import numpy as np
class Perceptron:
def __init__(self, input_size):
self.weights = np.random.rand(input_size)
self.bias = np.random.rand()
def step_function(self, x):
return 1 if x >=0 else 0
def forward(self, inputs):
summation = np.dot(inputs, self.weights) + self.bias
return self.step_
