逻辑回归成本函数原理与实现详解

1. 逻辑回归成本函数的核心逻辑

逻辑回归作为经典的分类算法，其成本函数的设计直接决定了模型训练的效率和最终效果。理解这个函数的构造原理，对于掌握逻辑回归的本质至关重要。

我们先从最基础的需求出发：当模型预测正确时，成本应该趋近于0；而预测错误时，成本应该趋近于无穷大。这种特性正好可以用对数函数来完美实现。

提示：对数函数在接近0时输出趋近于负无穷，经过负号处理后正好符合我们的需求。

1.1 预测类别1时的成本函数设计

当真实类别为1时，我们希望：

• 预测概率接近1（正确预测）时，成本趋近于0
• 预测概率接近0（错误预测）时，成本趋近于正无穷

数学表达式为：
Cost = -log(f)

其中f是模型预测的概率值（0 < f < 1）。这个简单的对数函数完美满足了我们的需求：

• 当f→1时，log(f)→0，Cost→0
• 当f→0时，log(f)→-∞，Cost→+∞

1.2 预测类别0时的成本函数设计

对于类别0的情况，我们需要对称的特性：

• 预测概率接近0（正确预测）时，成本趋近于0
• 预测概率接近1（错误预测）时，成本趋近于正无穷

通过对原函数进行y轴对称变换，我们得到：
Cost = -log(1-f)

验证这个函数的特性：

• 当f→0时，log(1-f)→0，Cost→0
• 当f→1时，log(1-f)→-∞，Cost→+∞

2. 成本函数的数学推导详解

2.1 函数变换的几何直观

让我们通过几何变换来更直观地理解这个过程：

1. 基础函数：y = -log(f)

   • 定义域：0 < f < 1
   • 当f→0+，y→+∞
   • 当f→1-，y→0

2. 对称变换：为了得到类别0的成本函数，我们对原函数进行y轴对称

   • 新函数：y = -log(-f)
   • 但这样定义域变为-1 < f < 0，不符合我们的需求

3. 平移变换：将对称后的函数向右平移1个单位

   • 新函数：y = -log(-(f-1)) = -log(1-f)
   • 现在定义域回到0 < f < 1，且满足所需特性

2.2 数学证明

我们可以严格证明这两个函数的特性：

对于类别1的成本函数J₁(f) = -log(f)：
lim f→1 J₁(f)