LightGBM是一个使用基于树的学习算法的梯度提升框架,具有分布式和高效的特点,以下是对其优点的详细介绍:
更快的训练速度和更高的效率
- 基于直方图的算法:LightGBM采用直方图算法来构建决策树,它将连续的浮点特征值离散化成整数,并构造相应的直方图。在遍历数据时,根据离散化后的值在直方图中累积统计量,然后根据这些统计量来寻找最优的分割点。相比传统的预排序算法,直方图算法大大减少了计算量和内存消耗,从而提高了训练速度.
- 单边梯度采样(GOSS):GOSS根据信息增益的定义,认为具有较大梯度的数据样本对信息增益的贡献更大。因此,在对数据样本进行下采样时,会保留梯度大的样本,并随机丢弃梯...