线性回归：从数学原理到PyTorch实现

1. 线性回归的本质与价值

线性回归可能是机器学习领域最基础却又最实用的算法之一。作为深度学习的入门第一课，它就像学习编程时的"Hello World"一样具有标志性意义。但千万别小看这个看似简单的模型——在金融风控、销售预测、医学统计等实际场景中，线性回归仍然是许多专业数据分析师的首选工具。

我第一次接触线性回归是在电商用户行为分析项目中。当时需要预测不同广告投放策略下的销售额变化，用TensorFlow构建的复杂神经网络反而没有scikit-learn的线性回归表现稳定。这个经历让我深刻认识到：模型复杂度不等于实用价值。理解线性回归的数学本质和实现细节，是构建更复杂模型的重要基础。

2. 线性回归的数学原理拆解

2.1 模型定义与损失函数

线性回归的核心假设是：目标变量y与特征x之间存在线性关系。用数学表达式表示就是：

y = w₁x₁ + w₂x₂ + ... + wₙxₙ + b

其中w是权重(weight)，b是偏置(bias)。我们的目标是找到一组w和b，使得预测值ŷ与真实值y的差距最小。这个"差距"在机器学习中称为损失函数(loss function)，对于线性回归最常用的是均方误差(MSE)：

L(w,b) = 1/m * Σ(ŷ⁽ⁱ⁾ - y⁽ⁱ⁾)²

注意：虽然理论上可以使用其他损失函数，但MSE的凸函数特性保证能找到全局最优解，且其导数计算简单，这些优势使其成为线性回归的标准选择。

2.2 梯度下降算法解析

最小化损失函数的过程就是模型训练的核心。梯度下降(Gradient Descent)是最常用的优化方法，其参数更新公式为：

w = w - η * ∂L/∂w
b = b - η * ∂L/∂b

其中η是学习率(learning rate)，控制每次更新的步长。在实际编码时，我们通常采用批量梯度下降(mini-batch GD)，即每次随机选取一小批样本计算梯度。这种方法在内存效率和收敛速度之间取得了良好平衡。

3. 从零实现线性回归

3.1 数据准备与预处理

我们先使用经典的波士顿房价数据集进行演示。虽然scikit-learn已经移除了这个数据集，但我们可以用类似的加州房价数据集替代：

python复制from sklearn.datasets im