1. 定义与结构

2. 多个卷积层（Multiple Convolutional Layers）是指在卷积神经网络（CNN）架构中，连续使用两个或更多的卷积层。这些卷积层依次对输入数据进行处理，每个卷积层都会输出一个或多个特征图（Feature Maps），然后将其作为下一层的输入。例如，一个简单的CNN架构可能包含三个卷积层，第一个卷积层接收原始图像数据作为输入，经过卷积操作后输出一组特征图，这组特征图成为第二个卷积层的输入，第二个卷积层再输出新的特征图给第三个卷积层，以此类推。

3. 工作原理

4. 层层递进的特征提取：每个卷积层都有自己的滤波器（卷积核），用于提取不同层次的特征。在第一个卷积层，...

Read more

1. 定义与公式
2. 在机器学习和深度学习领域，Softmax是一种函数，主要用于多分类问题。它将一个包含多个数值的向量转换为一个概率分布向量。

3. 对于一个输入向量(z = [z_1, z_2, \cdots, z_n])，Softmax函数的计算公式为(\sigma(z)j=\frac{e^{z_j}}{\sum^{n}e^{z_k}})，其中(j = 1,2,\cdots,n)。这个公式的含义是，对于输入向量中的每个元素(z_j)，先计算其指数值(e^{z_j})，然后将这个指数值除以所有元素指数值的总和(\sum_{k = 1}^{n}e^{z_k})，得到的结果(\sigma(z)_j)...

Read more

1. 定义（在深度学习和计算机视觉领域）
2. 在深度学习中，特别是卷积神经网络（CNN）用于处理图像等数据时，“channel”（通道）是一个重要的概念。对于彩色图像，通道通常是指颜色通道。例如，常见的RGB图像有3个通道，分别是红色（Red）、绿色（Green）和蓝色（Blue）通道。每个通道可以看作是一个独立的二维矩阵，代表了该颜色成分在图像中的分布。

3. 从数据结构角度理解，一个RGB图像的数据可以看作是一个三维张量，其形状为（高度，宽度，通道数），例如一张大小为28×28像素的RGB图像，其数据形状为（28，28，3）。这里的3就是通道数，表示有3个独立的颜色通道数据。

4. 作用和意义

...

Read more

1. 定义与概念

2. 在卷积神经网络（CNN）中，特征图（Feature Map）是卷积层（Convolutional Layer）的输出。它是通过卷积核（Filter）在输入数据（如图像、文本序列等）上进行卷积操作后得到的结果。例如，将一个大小为(28\times28)的灰度图像输入到一个卷积层，经过卷积操作后，会得到一个新的二维数组，这个二维数组就是该卷积层对应的特征图。

3. 生成过程

4. 卷积操作：假设输入数据是一个大小为(W_{in}\times H_{in})（宽度和高度）的二维矩阵，卷积核大小为(k\times k)，步长为(s)，填充为(p)。卷积核从输入数据的左上角开始，以步长(...

Read more

1. 定义与概念

2. 在卷积神经网络（CNN）中，参数共享（Parameter Sharing）是指在卷积层（Convolutional Layer）中，同一个卷积核（Filter）在整个输入数据的不同位置进行卷积操作时，使用相同的一组参数（即权重）。例如，在对一幅图像进行卷积操作时，一个3x3的卷积核在图像的左上角位置计算特征时使用的权重，与它在图像右下角位置计算特征时使用的权重是完全相同的。

3. 工作原理

4. 假设我们有一个大小为(n\times n)的输入图像和一个大小为(k\times k)（(k\lt n)）的卷积核。卷积核从图像的左上角开始，以一定的步长（例如步长为1）向右和向下滑...

Read more

1. 定义与基本概念
2. 在卷积神经网络（CNN）中，卷积层（Convolutional Layer）是核心组成部分。它通过使用卷积核（也称为滤波器）在输入数据（例如图像、文本序列等）上进行卷积操作，从而提取数据中的特征。可以将卷积层看作是一个自动特征提取器，它能够学习到输入数据中不同的局部模式。

3. 例如，在处理图像数据时，卷积层中的卷积核会在图像的像素矩阵上滑动，通过计算卷积核与对应像素区域的加权和，来检测图像中的各种特征，如边缘、角落、纹理等。就像用一个小的“探测器”在图像上移动，寻找特定的图案。

4. 工作原理

5. 卷积操作细节
   • 假设输入数据是一个二维矩阵（如单通道的灰度图像），大小为(W_{...

Read more

1. 偏差（Bias）的概念
2. 在机器学习领域，模型的偏差是指模型预测值与真实值之间的系统性差异。简单来说，偏差反映了模型本身的拟合能力，即模型在学习数据模式时是否存在某种倾向性的错误。例如，假设真实的数据分布是一个复杂的二次函数曲线，但我们使用一个简单的线性模型去拟合，这个线性模型就会因为其自身结构的限制，存在一种固定的、偏离真实值的倾向，这就是高偏差。
3. 高偏差模型的特点与表现
4. 欠拟合（Underfitting）现象：高偏差模型通常会出现欠拟合问题。这意味着模型过于简单，无法捕捉到数据中的复杂模式和细节。以图像分类任务为例，如果使用一个仅包含一层且神经元数量很少的神经网络来分类具有多种复杂特...

Read more

1. 定义与概念

2. 在深度学习领域，特别是卷积神经网络（CNN）中，“padding”（填充）是一种操作。它是指在输入数据（通常是图像、文本序列等）的边缘添加额外的像素（对于图像）或元素（对于序列）。例如，在一个二维图像卷积操作前，在图像的四周添加一圈像素值，这些添加的像素就是填充。

3. 目的和作用

4. 保持输出特征图尺寸：在卷积操作中，不使用填充时，输出特征图的尺寸会随着卷积操作而逐渐减小。例如，对于一个大小为(n\times n)的输入图像，使用大小为(k\times k)的卷积核，步长为(1)，若不进行填充，每次卷积操作后，输出特征图的边长会减少((k - 1))。通过填充合适数量的像素...

Read more

“stride”这个词在不同的语境中有不同的含义，在计算机科学，特别是深度学习领域以及日常用语中有以下解释：

一、在深度学习（卷积神经网络 - CNN）中的含义

1. 定义

2. 在卷积神经网络中，“stride”（步长）是指卷积核在输入数据（如图像、序列等）上滑动的步长大小。它决定了卷积操作后输出特征图（Feature Map）的尺寸。例如，在一个二维图像的卷积操作中，卷积核从左上角开始，按照指定的步长向右和向下滑动，对覆盖的区域进行卷积计算。

3. 对输出特征图尺寸的影响

4. 对于输入数据大小为(W_{in})（宽度）、(H_{in})（高度），卷积核大小为(k)（假设为正方形卷积核），步长为(...

Read more

1. 滤波器在卷积神经网络中的角色
2. 特征提取的核心工具：在卷积神经网络（CNN）中，滤波器（Filter）也称为卷积核（Convolution Kernel），是用于提取特征的关键组件。它就像是一个“特征探测器”，通过在输入数据（如图像、文本序列等）上滑动进行卷积操作来捕捉数据中的局部特征模式。例如，在图像识别任务中，不同的滤波器可以分别检测图像中的边缘、纹理、角落等特征。一个简单的3x3边缘检测滤波器可能在水平方向上有正负交替的权重，当它在图像上滑动时，能够敏锐地捕捉到像素值在水平方向上的变化，即水平边缘。
3. 构建卷积层的基本元素：卷积层是CNN的核心层，而滤波器是卷积层的基本构建块。一个卷...

Read more