逻辑回归原理与实战：从Sigmoid到交叉熵损失

1. 逻辑回归的本质与价值

在机器学习领域，分类问题是每个从业者都会遇到的经典任务。记得我第一次处理用户流失预测项目时，面对"预测用户是否会取消订阅"这个二分类问题，最直观的想法就是用线性回归拟合数据，然后设置一个阈值（比如0.5）来划分类别。但很快我就发现这种粗暴的方法存在严重缺陷——当遇到极端异常值时，整个决策边界会被拉扯得面目全非。

这就是逻辑回归（Logistic Regression）的用武之地。虽然名字里有"回归"，但它实际上是解决分类问题的利器。其核心创新在于通过Sigmoid函数将线性回归的输出压缩到(0,1)区间，使其具有概率意义。举个例子，当模型输出0.7时，我们不仅可以判断为"正类"，还能知道这个判断有70%的置信度，这对业务决策至关重要。

注意：虽然逻辑回归常用于二分类，但通过One-vs-Rest或Softmax扩展，它也能处理多分类问题。不过本文重点讨论最基础的二分类场景。

2. 模型构建：从线性到概率的桥梁

2.1 Sigmoid函数的工作原理

逻辑回归的核心是Sigmoid函数（也叫Logistic函数），其数学形式为：

$$
\sigma(z) = \frac{1}{1+e^{-z}}
$$

这个看似简单的函数有着精妙的特性：

• 将任意实数映射到(0,1)区间
• 在z=0处输出0.5，两侧对称
• 导数可以用自身表示：σ'(z) = σ(z)(1-σ(z))

在实际编码中，我们需要警惕数值稳定性问题。当z很大时，e^{-z}会下溢为0。我通常会这样实现：

python复制def sigmoid(z):
    mask = z >= 0
    pos = 1 / (1 + np.exp(-z[mask]))
    neg = np.exp(z[~mask]) / (1 + np.exp(z[~mask]))
    return np.concatenate([pos, neg])

2.2 决策边界的形成

将线性组合$z = w^Tx + b$代入Sigmoid函数，我们得到：

$$
P(y=1|x) = \sigma(w^Tx + b)
$$

决策边界就是概率=0.5的超平面，即$w^Tx + b = 0$。这与线性回归的直观理解完全不同——在特征空间