逻辑回归（Logistic Regression）是一种用于二分类问题的统计方法，其目标是预测给定输入属于某一类别的概率。逻辑回归的损失函数（也称为成本函数）被称为对数损失（Log Loss）或交叉熵损失（Cross-Entropy Loss）。它通过惩罚错误的预测来衡量分类模型的性能。

逻辑回归的假设函数

逻辑回归的假设函数使用 Sigmoid 函数 表示：

[ h_\theta(x) = \frac{1}{1 + e^{-\theta^T x}} ]

其中： - ( h_\theta(x) ) 是模型预测的 ( y = 1 ) 的概率。 - ( \theta ) 是模型参数（权重）。 - ( x ) 是输入特征向量。

损失函数（对数损失）

逻辑回归的损失函数定义如下：

[ J(\theta) = -\frac{1}{m} \sum_{i=1}^m \left[ y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_\theta(x^{(i)})) \right] ]

其中： - ( m ) 是训练样本的数量。 - ( y^{(i)} ) 是第 ( i ) 个样本的真实标签（0 或 1）。 - ( h_\theta(x^{(i)}) ) 是模型预测的第 ( i ) 个样本 ( y = 1 ) 的概率。

损失函数的直观理解

• 如果真实标签 ( y = 1 )，而模型预测的概率 ( h_\theta(x) ) 接近 0，损失函数会给予很大的惩罚。
• 如果真实标签 ( y = 0 )，而模型预测的概率 ( h_\theta(x) ) 接近 1，损失函数同样会给予很大的惩罚。
• 对数项确保模型在预测错误时损失较大，预测正确时损失较小。

向量化形式

为了高效计算，损失函数可以写成向量化形式：

[ J(\theta) = -\frac{1}{m} \left[ y^T \log(h_\theta(X)) + (1 - y)^T \log(1 - h_\theta(X)) \right] ]

其中： - ( X ) 是输入特征矩阵（每一行是一个训练样本）。 - ( y ) 是真实标签的向量。

损失函数的梯度

为了使用梯度下降法优化损失函数，需要计算其对参数 ( \theta ) 的梯度：

[ \frac{\partial J(\theta)}{\partial \theta_j} = \frac{1}{m} \sum_{i=1}^m \left( h_\theta(x^{(i)}) - y^{(i)} \right) x_j^{(i)} ]

向量化形式为：

[ \nabla_\theta J(\theta) = \frac{1}{m} X^T (h_\theta(X) - y) ]

这个梯度用于在训练过程中迭代更新参数 ( \theta )。

总结

逻辑回归的损失函数通过衡量预测概率与真实标签之间的差异来评估模型性能。它是一个凸函数，确保梯度下降法能够收敛到全局最优解。