神经网络基础：从感知机到多层网络的实现与原理

1. 神经网络基础概念解析

神经网络作为机器学习的重要分支，其核心思想源自对人类大脑神经元工作方式的模拟。感知机（Perceptron）作为神经网络的最基本单元，由Frank Rosenblatt在1957年提出，它奠定了现代深度学习的基础架构。

感知机本质上是一个二元分类器，其数学模型可以表示为：
f(x) = sign(w·x + b)
其中w是权重向量，x是输入特征，b是偏置项，sign是符号函数。这个简单的公式却蕴含着神经网络最核心的思想——通过加权求和与非线性激活的组合来实现特征变换。

注意：虽然现代神经网络已经发展出更复杂的结构，但理解感知机的工作机制仍然是掌握深度学习的基础。许多复杂的网络架构都可以看作是多层感知机的组合与扩展。

2. 单层感知机的实现细节

2.1 感知机的训练过程

感知机的训练采用经典的错误驱动学习方法。具体步骤如下：

1. 初始化权重向量w和偏置b（通常设为小随机数或零）
2. 对于每个训练样本(x, y):
   a. 计算预测输出: y' = sign(w·x + b)
   b. 如果y' ≠ y，则更新权重:
   w = w + η(y - y')x
   b = b + η(y - y')
3. 重复步骤2直到所有样本被正确分类或达到最大迭代次数

其中η是学习率，控制每次更新的步长。这个简单的算法具有令人惊讶的性质——如果数据是线性可分的，感知机保证能在有限步内收敛。

2.2 Python实现示例

python复制import numpy as np

class Perceptron:
    def __init__(self, learning_rate=0.01, n_iters=1000):
        self.lr = learning_rate
        self.n_iters = n_iters
        self.weights = None
        self.bias = None
    
    def fit(self, X, y):
        n_samples, n_features = X.shape
        self.weights = np.zeros(n_features)