作者文章归档:course

步长-


“stride”这个词在不同的语境中有不同的含义,在计算机科学,特别是深度学习领域以及日常用语中有以下解释:

一、在深度学习(卷积神经网络 - CNN)中的含义

  1. 定义
  2. 在卷积神经网络中,“stride”(步长)是指卷积核在输入数据(如图像、序列等)上滑动的步长大小。它决定了卷积操作后输出特征图(Feature Map)的尺寸。例如,在一个二维图像的卷积操作中,卷积核从左上角开始,按照指定的步长向右和向下滑动,对覆盖的区域进行卷积计算。

  3. 对输出特征图尺寸的影响

  4. 对于输入数据大小为(W_{in})(宽度)、(H_{in})(高度),卷积核大小为(k)(假设为正方形卷积核),步长为(...

Read more

弗罗贝尼乌斯范数-


  1. 定义
  2. Frobenius范数(弗罗贝尼乌斯范数)是一种矩阵范数,用于衡量矩阵的大小或“长度”。对于一个(m\times n)的矩阵(A=(a_{ij})),它的Frobenius范数定义为(\left\lVert A\right\rVert_F=\sqrt{\sum_{i = 1}^{m}\sum_{j = 1}^{n}\vert a_{ij}\vert^2})。例如,对于矩阵(A = \begin{bmatrix}1&2\3&4\end{bmatrix}),其Frobenius范数(\left\lVert A\right\rVert_F=\sqrt{1^2 + 2^2...

Read more

哈达码积-


  1. 定义
  2. 哈达码积(Hadamard product)也称为元素对应乘积,是一种特殊的矩阵乘法。对于两个相同维度的矩阵(A=(a_{ij}))和(B=(b_{ij})),它们的哈达码积(A\circ B)是一个同样维度的矩阵(C=(c_{ij})),其中(c_{ij}=a_{ij}b_{ij})。例如,若(A = \begin{bmatrix}1&2\3&4\end{bmatrix}),(B=\begin{bmatrix}5&6\7&8\end{bmatrix}),则(A\circ B=\begin{bmatrix}1\times5&2\times6...

Read more

对称矩阵-


  1. 定义与基本性质
  2. 定义:对于一个方阵(A=(a_{ij})),如果(a_{ij}=a_{ji}),对所有的(i)和(j)都成立,那么矩阵(A)就是对称矩阵。例如,(A = \begin{bmatrix}1&2&3\2&4&5\3&5&6\end{bmatrix})是一个对称矩阵,因为(a_{12}=a_{21}=2),(a_{13}=a_{31}=3),(a_{23}=a_{32}=5)。
  3. 性质
    • 对称矩阵的转置等于它本身,即(A = A^T)。这是对称矩阵的本质特征。
    • 对称矩阵的主对角线元素可以是任意实数,主对角线就像一面“镜子”,使得矩...

Read more

特殊向量-


  1. 零向量
  2. 定义:在向量空间中,所有分量都为零的向量称为零向量。例如,在二维向量空间中,零向量表示为(\vec{0}=(0,0)),在三维向量空间中为(\vec{0}=(0,0,0))。
  3. 性质:零向量是唯一的。对于任意向量(\vec{v}),都有(\vec{v}+\vec{0}=\vec{v}),并且(0\cdot\vec{v}=\vec{0})(这里第一个(0)是标量(0),第二个(\vec{0})是零向量)。它在向量空间的运算中起到类似数字运算中(0)的作用。例如,在求解线性方程组(A\vec{x}=\vec{b})时,如果(\vec{b}=\vec{0}),这个方程组就是齐次线性方程...

Read more

特殊矩阵


  1. 对角矩阵
  2. 定义:对角矩阵是一种方阵,除了主对角线(从左上角到右下角的对角线)上的元素外,其余元素都为零。例如,一个(3\times3)的对角矩阵(A)可以写成(A = \begin{bmatrix}a_{11}&0&0\0&a_{22}&0\0&0&a_{33}\end{bmatrix})。
  3. 性质和应用:对角矩阵在矩阵乘法运算中有特殊的优势。当对角矩阵与另一个矩阵相乘时,相当于对另一个矩阵的行或列进行缩放。假设(A)是对角矩阵,(B)是一个(n\times m)的矩阵,那么(AB)的结果是将(B)的每一行按照(A)主对角线上对应的元素进行...

Read more

扭曲空间-


  1. 线性代数基础概念与扭曲空间的联系
  2. 向量空间:线性代数主要研究向量空间。在常规的三维欧几里得空间(这是一种“未扭曲”的空间概念)中,向量可以用坐标来表示,如((x,y,z))。向量空间具有加法和数乘运算等基本性质。而在扭曲空间中,向量的概念变得更加复杂。例如,在一个弯曲的二维曲面(如球面)上,切向量的定义依赖于曲面的局部几何。我们可以把球面上某一点的切向量看作是在该点处与球面“相切”的向量,它所在的“平面”是曲面在该点的切平面。
  3. 基向量和坐标变换:在线性代数中,基向量是用来表示向量空间的基本框架。在欧几里得空间中,我们可以很方便地选择标准基向量,如在三维空间中的(\vec{i}=(1,0...

Read more

滤波器-


  1. 滤波器在卷积神经网络中的角色
  2. 特征提取的核心工具:在卷积神经网络(CNN)中,滤波器(Filter)也称为卷积核(Convolution Kernel),是用于提取特征的关键组件。它就像是一个“特征探测器”,通过在输入数据(如图像、文本序列等)上滑动进行卷积操作来捕捉数据中的局部特征模式。例如,在图像识别任务中,不同的滤波器可以分别检测图像中的边缘、纹理、角落等特征。一个简单的3x3边缘检测滤波器可能在水平方向上有正负交替的权重,当它在图像上滑动时,能够敏锐地捕捉到像素值在水平方向上的变化,即水平边缘。
  3. 构建卷积层的基本元素:卷积层是CNN的核心层,而滤波器是卷积层的基本构建块。一个卷...

Read more

自动编码器-


  1. 定义与基本原理
  2. 自动编码器(Autoencoder)是一种神经网络架构,主要用于无监督学习。它的目标是学习输入数据的一种有效表示(编码),并且能够从这种编码中重建原始输入数据。
  3. 自动编码器由两部分组成:编码器(Encoder)和解码器(Decoder)。编码器将输入数据压缩成一个低维的表示(通常称为潜在空间表示或编码),而解码器则将这个低维表示还原为与原始输入尽可能相似的数据。例如,对于一个图像数据集,编码器可以将一张高分辨率的图像(如100×100像素,具有3个颜色通道,总共30000个像素值)转换为一个低维向量(如100维),这个向量就包含了图像的关键特征信息;解码器则根据这个10...

Read more