步幅-DL

评论
23 views

在深度学习中，“步幅”（stride）是一个与卷积层和池化层相关的重要概念，它指的是在进行卷积或池化操作时，滤波器每次移动的步长。以下是关于步幅的详细介绍：

卷积层中的步幅

  • 定义与作用：在卷积神经网络（CNN）的卷积层中，步幅决定了滤波器在输入数据上滑动的步长大小。例如，当步幅为1时，滤波器每次移动一个像素位置；当步幅为2时，滤波器每次移动两个像素位置。步幅的主要作用是控制输出特征图的尺寸大小，同时也会影响网络对输入数据的采样方式和特征提取效果。
  • 对特征图尺寸的影响：设输入特征图的尺寸为(W\times H)（宽度(W)和高度(H)），滤波器的尺寸为(F\times F)，填充（padding）大小为(P)，步幅为(S)，则输出特征图的宽度(W_{out})和高度(H_{out})可以通过以下公式计算：(W_{out}=\frac{W - F + 2P}{S}+1)，(H_{out}=\frac{H - F + 2P}{S}+1)。较大的步幅会使输出特征图尺寸变小，从而减少计算量和参数数量，但可能会丢失一些细节信息；较小的步幅则会使输出特征图更精细，但计算成本会相应增加。
  • 示例：假设有一个输入特征图尺寸为(8\times8)，滤波器尺寸为(3\times3)，无填充（(P = 0)）。当步幅(S = 1)时，根据公式可得输出特征图尺寸为((8 - 3 + 0) / 1 + 1 = 6)，即(6\times6)；当步幅(S = 2)时，输出特征图尺寸为((8 - 3 + 0) / 2 + 1 = 3.5)，向下取整为(3)，即(3\times3)。

池化层中的步幅

  • 定义与作用：在池化层中，步幅同样决定了池化窗口在输入特征图上滑动的步长。池化操作主要用于对特征图进行下采样，减少数据量，同时保留重要的特征信息，防止过拟合。步幅在池化层中的作用与卷积层类似，也是控制输出特征图的尺寸大小。
  • 对特征图尺寸的影响：池化层输出特征图尺寸的计算方式与卷积层类似，但池化操作通常不涉及填充（(P = 0)）。对于最大池化（max pooling）和平均池化（average pooling）等常见池化操作，输出特征图尺寸(W_{out})和(H_{out})的计算公式为(W_{out}=\frac{W - F}{S}+1)，(H_{out}=\frac{H - F}{S}+1)，其中(F)为池化窗口的尺寸，(S)为步幅。
  • 示例：假设有一个输入特征图尺寸为(8\times8)，池化窗口尺寸为(2\times2)。当步幅(S = 1)时，输出特征图尺寸为((8 - 2) / 1 + 1 = 7)，即(7\times7)；当步幅(S = 2)时，输出特征图尺寸为((8 - 2) / 2 + 1 = 4)，即(4\times4)。

步幅的选择策略

  • 任务需求导向：在选择步幅大小时，需要考虑具体的任务需求。如果任务对特征的细节信息要求较高，如在图像分割等任务中，可能需要选择较小的步幅以保留更多细节；如果任务更关注整体特征的提取和计算效率，如在图像分类的前期层中，可以适当选择较大的步幅。
  • 与网络结构协同：步幅的选择还需要与整个网络结构相协同。在设计卷积神经网络时，需要综合考虑卷积层和池化层的步幅设置，以及网络的深度、滤波器数量等因素，以达到最佳的性能表现。例如，在一些网络结构中，可能会在前期使用较大步幅进行快速下采样，然后在后期使用较小步幅来细化特征。
  • 实验调优：通常需要通过实验来确定最佳的步幅设置。可以尝试不同的步幅值，观察模型在验证集上的性能表现，如准确率、损失值等，根据实验结果选择最适合的步幅大小。

步幅（Stride）在深度学习中，尤其是在卷积神经网络（CNN）里，是一个非常重要的概念。它指的是卷积核在输入特征图上滑动的间隔或步长。以下是步幅的一些关键点：

  1. 定义：步幅是卷积核在输入特征图上移动时每次跳跃的像素数。如果步幅为1，卷积核每次移动一个像素；如果步幅为2，卷积核每次移动两个像素，以此类推。

  2. 对输出形状的影响：步幅会影响卷积层输出的特征图的大小。步幅越大，输出的特征图尺寸越小，因为卷积核会跳过更多的像素点。例如，如果输入特征图的大小为5x5，卷积核大小为3x3，步幅为1，则输出特征图的大小为3x3。如果步幅改为2，则输出特征图的大小为2x2。

  3. 计算输出尺寸：输出特征图的尺寸可以通过以下公式计算： [ \left\lfloor \frac{n_h - k_h + p_h + s_h}{s_h} \right\rfloor \times \left\lfloor \frac{n_w - k_w + p_w + s_w}{s_w} \right\rfloor ] 其中，(n_h) 和 (n_w) 分别是输入特征图的高度和宽度，(k_h) 和 (k_w) 是卷积核的高度和宽度，(p_h) 和 (p_w) 是在高度和宽度两侧的填充数量，(s_h) 和 (s_w) 是在高度和宽度上的步幅。

  4. 应用：步幅可以用于减少卷积的输出形状，这有助于减少网络的参数数量和计算量，提高训练速度。同时，它也可以用来控制卷积核在输入特征图上的移动方式，实现不同的卷积操作，比如膨胀卷积和空洞卷积。

  5. 与填充的关系：步幅和填充（Padding）通常一起使用，以控制输出特征图的尺寸。填充可以增加输出的高度和宽度，而步幅则可以减小输出的高和宽。

总结来说，步幅是深度学习中卷积操作的一个关键超参数，它直接影响着卷积层输出的特征图尺寸和网络的感受野。通过调整步幅，可以在保持特征提取能力的同时，减少计算量和参数数量，这对于设计高效能的卷积神经网络非常重要。