1. 定义

2. 训练损失（Training Loss）是在模型训练过程中，用于衡量模型预测结果与训练数据真实标签之间差异的指标。它是基于训练数据集计算得到的损失函数值。例如，在一个神经网络用于图像分类的训练过程中，对于每一批（batch）训练图像，将其输入网络得到预测类别概率，再与图像的真实类别标签通过损失函数（如交叉熵损失）进行计算，得到的损失值就是训练损失。

3. 计算方式

4. 首先要确定损失函数。不同的任务（如回归、分类等）有不同的损失函数。对于回归任务，常见的是平方损失（MSE）函数，计算方式为(L = \frac{1}{n}\sum_{i = 1}^{n}(\hat{y}_i - y_...

Read more

1. 定义
2. 平方损失（Squared Loss），也称为均方误差（Mean Squared Error，MSE），是一种用于衡量预测值与真实值之间差异的损失函数。给定一组预测值(\hat{y}i)和对应的真实值(y_i)（(i = 1,2,\cdots,n)），平方损失函数的计算公式为(L(\hat{y},y)=\frac{1}{n}\sum^{n}(\hat{y}_i - y_i)^2)。例如，在一个简单的线性回归问题中，我们有真实值(y = [1,2,3])，预测值(\hat{y}=[1.2,1.8,3.1])，则平方损失(L=\frac{1}{3}[(1.2 - 1)^2+(1.8 -...

Read more

1. 定义与概念

2. 空间变换器（Spatial Transformer）是一种在深度学习架构（特别是卷积神经网络，CNN）中用于对输入数据（通常是具有空间结构的数据，如二维图像或三维体数据）进行空间变换的模块。它能够自动学习并应用空间变换，如平移、旋转、缩放和剪切等操作，以增强模型对数据空间变化的适应性。

3. 工作原理

4. 参数化的空间变换：空间变换器通过一组可学习的参数来定义空间变换。这些参数通常构成一个变换矩阵，例如在二维空间中，仿射变换（Affine Transformation）矩阵可以表示平移、旋转、缩放和剪切等操作。对于一个点((x,y))，经过仿射变换后的坐标((x',y'))可...

Read more

1. 定义与公式

2. 修正线性单元（Rectified Linear Unit，ReLU）是一种在深度学习中广泛使用的激活函数。它的定义非常简单，对于输入值(x)，ReLU函数的输出为(y = max(0,x))。这意味着当(x)大于等于(0)时，输出等于(x)；当(x)小于(0)时，输出为(0)。

3. 优势

4. 计算效率高：ReLU函数的计算非常简单，只需要一个比较操作（判断(x)是否大于等于(0)）和一个可能的赋值操作（当(x\geq0)时，(y = x)）。与其他一些复杂的激活函数（如Sigmoid和Tanh）相比，ReLU的计算速度更快，特别是在处理大规模的神经网络和大量的数据时，这种计...

Read more

1. 定义与概念

2. 在神经网络中，隐藏层（Hidden Layer）是位于输入层（Input Layer）和输出层（Output Layer）之间的一层或多层神经元（Neuron）。之所以称为“隐藏”，是因为这些层的神经元在输入和输出之间起到了中间处理的作用，其输出不会直接作为最终结果展示，而是作为信息的中间传递者。例如，在一个用于图像分类的多层感知机（Multilayer Perceptron，MLP）中，输入层接收图像的像素值，输出层输出图像所属的类别概率，而中间的隐藏层则负责对输入数据进行复杂的特征提取和转换，将像素值这样的原始输入转换为更有助于分类的高级特征表示。

3. 工作原理

4. 神...

Read more

1. 定义与基本概念

2. 在数学和计算机科学等多个领域，“rotation”（旋转）是一种几何变换操作。在二维平面中，它是指将一个点或者一个图形围绕一个固定点（称为旋转中心）按照一定的角度进行转动。例如，对于平面直角坐标系中的一个点((x,y))，绕原点((0,0))逆时针旋转(\theta)角度后，新的坐标((x',y'))可以通过特定的旋转公式计算得到。在三维空间中，旋转则更加复杂，需要考虑绕不同坐标轴（如(x)轴、(y)轴、(z)轴）的旋转或者通过旋转矩阵来表示更一般的旋转情况。

3. 旋转的数学表示（以二维为例）

4. 旋转矩阵：在二维平面中，绕原点旋转(\theta)角度的旋转矩阵为(R ...

Read more

1. 定义与概念

2. 空间变换层（Spatial Transformer Layer）是一种在神经网络架构中的特殊层，它的主要目的是对输入的数据（通常是具有空间结构的数据，如图像）进行空间变换。这种变换是可学习的，能够自动地根据数据和任务的需要调整输入数据的空间位置、方向、尺度等属性。

3. 工作原理

4. 参数化的空间变换：空间变换层通过一组参数来定义空间变换。这些参数可以是仿射变换（Affine Transformation）矩阵的元素，包括平移（Translation）、旋转（Rotation）、缩放（Scaling）和剪切（Shear）等操作的参数。例如，一个二维仿射变换矩阵(T)的一般形式...

Read more

1. 定义与概念

2. 神经网络架构（Neural Network Architecture）是指神经网络的整体结构设计，包括神经元的组织方式、层与层之间的连接关系、信息流动的路径以及各种参数的配置等诸多方面。它就像是一座建筑物的蓝图，规定了神经网络如何构建和运作。

3. 主要组成部分

4. 神经元（Neuron）：是神经网络的基本单元。神经元接收输入信号，对这些信号进行加权求和，然后通过激活函数（Activation Function）产生输出。例如，在一个简单的感知机（Perceptron）中，神经元有多个输入（(x_1, x_2, \cdots, x_n)），对应的权重为（(w_1, w_2, ...

Read more

1. 定义与概念

2. 分段线性（Piecewise Linear）是一种函数或模型的特性。它指的是一个函数在不同的区间上是线性的，也就是说，整个函数的图像可以被分割成多个线段，在每个线段对应的区间内，函数的表达式是一次函数（线性函数）的形式。例如，一个简单的分段线性函数可以定义为：当(x < 0)时，(y = 2x)；当(x \geq 0)时，(y = x + 1)。这个函数在(x < 0)的区间上是斜率为(2)的线性函数，在(x \geq 0)的区间上是斜率为(1)且截距为(1)的线性函数。

3. 数学表示与性质

4. 数学表达式：一般地，分段线性函数可以表示为(y = f(x)=\b...

Read more

1. 定义与概念

2. 在深度学习和信号处理等领域，下采样（Subsampling）是一种降低数据维度的操作。它通过对原始数据进行抽取，减少数据点的数量，从而得到一个更小规模的数据表示。下采样可以看作是一种数据压缩的方式，在保留数据主要特征的同时，简化数据结构和减少计算量。

3. 在不同领域的应用方式

4. 计算机视觉领域（图像处理）
   • 图像下采样：在处理图像数据时，下采样通常通过减少图像的像素数量来实现。例如，将一个高分辨率的图像转换为低分辨率的图像。一种常见的方法是每隔固定的行数和列数选取一个像素点，形成新的图像。比如，对于一个大小为(100\times100)的图像，采用间隔为(2)的下采样方式，...

Read more