在机器学习中，损失函数（也称为成本函数或目标函数）用于衡量模型预测值与真实值之间的差异。它量化了预测误差，模型训练的目标就是通过优化算法最小化这个损失函数。
核心概念：
- 作用：损失函数为模型提供了优化的目标，通过最小化损失函数来调整模型参数，从而提高模型性能。
- 最小化：在训练过程中，使用优化算法（如梯度下降）来最小化损失函数。
- 类型：根据问题类型（如回归、分类），选择不同的损失函数。
常见的损失函数：
1. 均方误差（MSE, Mean Squared Error）：
- 用于回归问题。
- 计算预测值与真实值之间的平方差的平均值。
- 公式：
[
\text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2
]
其中：
- ( y_i )：真实值
- ( \hat{y}_i )：预测值
- ( n )：数据点的数量
2. 平均绝对误差（MAE, Mean Absolute Error）：
- 用于回归问题。
- 计算预测值与真实值之间的绝对差的平均值。
- 公式： [ \text{MAE} = \frac{1}{n} \sum_{i=1}^n |y_i - \hat{y}_i| ]
3. 二元交叉熵损失（Binary Cross-Entropy Loss）：
- 用于二分类问题。
- 衡量模型输出的概率（0到1之间）与真实标签之间的差异。
- 公式：
[
\text{Binary Cross-Entropy} = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right]
]
其中：
- ( y_i )：真实标签（0或1）
- ( \hat{y}_i )：预测概率
4. 多分类交叉熵损失（Categorical Cross-Entropy Loss）：
- 用于多分类问题。
- 衡量预测概率分布与真实分布之间的差异。
- 公式：
[
\text{Categorical Cross-Entropy} = -\frac{1}{n} \sum_{i=1}^n \sum_{j=1}^m y_{ij} \log(\hat{y}_{ij})
]
其中：
- ( y_{ij} )：真实标签（one-hot编码，1表示正确类别，0表示其他）
- ( \hat{y}_{ij} )：预测概率
- ( m )：类别数量
5. 合页损失（Hinge Loss）：
- 用于支持向量机（SVM）和二分类问题。
- 鼓励正确分类并留有一定的边界。
- 公式：
[
\text{Hinge Loss} = \max(0, 1 - y_i \cdot \hat{y}_i)
]
其中：
- ( y_i )：真实标签（-1或1）
- ( \hat{y}_i )：预测值
6. 对数损失（Log Loss）：
- 用于概率分类问题。
- 类似于交叉熵，但专门用于逻辑回归。
- 公式： [ \text{Log Loss} = -\frac{1}{n} \sum_{i=1}^n \left[ y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i) \right] ]
7. Huber损失（Huber Loss）：
- 用于鲁棒回归。
- 结合了MSE和MAE的优点，对异常值不敏感。
- 公式： [ \text{Huber Loss} = \begin{cases} \frac{1}{2} (y_i - \hat{y}_i)^2 & \text{如果 } |y_i - \hat{y}_i| \leq \delta \ \delta |y_i - \hat{y}_i| - \frac{1}{2} \delta^2 & \text{否则} \end{cases} ] 其中 ( \delta ) 是一个超参数。
如何选择损失函数？
- 回归问题：MSE、MAE 或 Huber Loss。
- 二分类问题：二元交叉熵或合页损失。
- 多分类问题：多分类交叉熵。
- 概率模型：对数损失。
优化方法：
为了最小化损失函数，通常使用优化算法（如梯度下降）。模型参数会通过迭代更新来降低损失函数的值。
[ \theta = \theta - \alpha \nabla_\theta J(\theta) ] 其中： - ( \theta )：模型参数 - ( \alpha )：学习率 - ( \nabla_\theta J(\theta) )：损失函数对参数 ( \theta ) 的梯度
如果有具体问题或需要进一步解释，可以随时告诉我！