梯度下降(Gradient Descent)是一种用于优化目标函数的迭代算法,广泛应用于机器学习和深度学习中,尤其是在最小化损失函数时。其核心思想是通过计算目标函数的梯度(即导数)来确定参数的更新方向,逐步逼近最优解。
梯度下降的基本原理
- 目标:最小化目标函数 ( J(\theta) ),其中 ( \theta ) 是模型的参数。
- 梯度:计算目标函数对参数的梯度 ( \nabla J(\theta) ),梯度方向是函数值上升最快的方向。
- 更新规则:沿着梯度的反方向更新参数,因为梯度下降的目标是最小化函数值。 [ \theta_{\text{new}} = \theta_{\...