1. 定义
2. 哈达码积（Hadamard product）也称为元素对应乘积，是一种特殊的矩阵乘法。对于两个相同维度的矩阵(A=(a_{ij}))和(B=(b_{ij}))，它们的哈达码积(A\circ B)是一个同样维度的矩阵(C=(c_{ij}))，其中(c_{ij}=a_{ij}b_{ij})。例如，若(A = \begin{bmatrix}1&2\3&4\end{bmatrix})，(B=\begin{bmatrix}5&6\7&8\end{bmatrix})，则(A\circ B=\begin{bmatrix}1\times5&2\times6...

Read more

1. 定义与基本性质
2. 定义：对于一个方阵(A=(a_{ij}))，如果(a_{ij}=a_{ji})，对所有的(i)和(j)都成立，那么矩阵(A)就是对称矩阵。例如，(A = \begin{bmatrix}1&2&3\2&4&5\3&5&6\end{bmatrix})是一个对称矩阵，因为(a_{12}=a_{21}=2)，(a_{13}=a_{31}=3)，(a_{23}=a_{32}=5)。
3. 性质：
   • 对称矩阵的转置等于它本身，即(A = A^T)。这是对称矩阵的本质特征。
   • 对称矩阵的主对角线元素可以是任意实数，主对角线就像一面“镜子”，使得矩...

Read more

1. 零向量
2. 定义：在向量空间中，所有分量都为零的向量称为零向量。例如，在二维向量空间中，零向量表示为(\vec{0}=(0,0))，在三维向量空间中为(\vec{0}=(0,0,0))。
3. 性质：零向量是唯一的。对于任意向量(\vec{v})，都有(\vec{v}+\vec{0}=\vec{v})，并且(0\cdot\vec{v}=\vec{0})（这里第一个(0)是标量(0)，第二个(\vec{0})是零向量）。它在向量空间的运算中起到类似数字运算中(0)的作用。例如，在求解线性方程组(A\vec{x}=\vec{b})时，如果(\vec{b}=\vec{0})，这个方程组就是齐次线性方程...

Read more

1. 对角矩阵
2. 定义：对角矩阵是一种方阵，除了主对角线（从左上角到右下角的对角线）上的元素外，其余元素都为零。例如，一个(3\times3)的对角矩阵(A)可以写成(A = \begin{bmatrix}a_{11}&0&0\0&a_{22}&0\0&0&a_{33}\end{bmatrix})。
3. 性质和应用：对角矩阵在矩阵乘法运算中有特殊的优势。当对角矩阵与另一个矩阵相乘时，相当于对另一个矩阵的行或列进行缩放。假设(A)是对角矩阵，(B)是一个(n\times m)的矩阵，那么(AB)的结果是将(B)的每一行按照(A)主对角线上对应的元素进行...

Read more

1. 线性代数基础概念与扭曲空间的联系
2. 向量空间：线性代数主要研究向量空间。在常规的三维欧几里得空间（这是一种“未扭曲”的空间概念）中，向量可以用坐标来表示，如((x,y,z))。向量空间具有加法和数乘运算等基本性质。而在扭曲空间中，向量的概念变得更加复杂。例如，在一个弯曲的二维曲面（如球面）上，切向量的定义依赖于曲面的局部几何。我们可以把球面上某一点的切向量看作是在该点处与球面“相切”的向量，它所在的“平面”是曲面在该点的切平面。
3. 基向量和坐标变换：在线性代数中，基向量是用来表示向量空间的基本框架。在欧几里得空间中，我们可以很方便地选择标准基向量，如在三维空间中的(\vec{i}=(1,0...

Read more

1. 滤波器在卷积神经网络中的角色
2. 特征提取的核心工具：在卷积神经网络（CNN）中，滤波器（Filter）也称为卷积核（Convolution Kernel），是用于提取特征的关键组件。它就像是一个“特征探测器”，通过在输入数据（如图像、文本序列等）上滑动进行卷积操作来捕捉数据中的局部特征模式。例如，在图像识别任务中，不同的滤波器可以分别检测图像中的边缘、纹理、角落等特征。一个简单的3x3边缘检测滤波器可能在水平方向上有正负交替的权重，当它在图像上滑动时，能够敏锐地捕捉到像素值在水平方向上的变化，即水平边缘。
3. 构建卷积层的基本元素：卷积层是CNN的核心层，而滤波器是卷积层的基本构建块。一个卷...

Read more

1. 定义与基本原理
2. 自动编码器（Autoencoder）是一种神经网络架构，主要用于无监督学习。它的目标是学习输入数据的一种有效表示（编码），并且能够从这种编码中重建原始输入数据。
3. 自动编码器由两部分组成：编码器（Encoder）和解码器（Decoder）。编码器将输入数据压缩成一个低维的表示（通常称为潜在空间表示或编码），而解码器则将这个低维表示还原为与原始输入尽可能相似的数据。例如，对于一个图像数据集，编码器可以将一张高分辨率的图像（如100×100像素，具有3个颜色通道，总共30000个像素值）转换为一个低维向量（如100维），这个向量就包含了图像的关键特征信息；解码器则根据这个10...

Read more

1. 基本含义
2. 在神经网络领域，尤其是卷积神经网络（CNN）中，“receptive field”（感受野）是一个关键概念。它是指神经元（或者说卷积核）在输入数据上所对应的区域大小。可以将其理解为神经元能够感知输入数据的“视野范围”。

3. 例如，在一个简单的卷积神经网络用于图像识别时，最开始的卷积层中的神经元感受野较小，只能感知图像中很小的一块区域，比如一个3x3的卷积核对应的感受野大小就是3x3像素区域。随着网络层数的增加，后面层的神经元可以通过前面层的信息传递，拥有更大的感受野，能够感知到图像中更大范围的信息。

4. 计算方式

5. 简单卷积层情况
   • 假设输入特征图（input feature m...

Read more

Google Colab是由Google Research团队开发的一款基于云的免费Jupyter笔记本环境，全称为Google Colaboratory.以下是关于它的详细介绍：

特点

• 无需配置：用户无需进行复杂的环境设置，可直接在浏览器中编写和执行Python代码，并且能免费使用包括GPU和TPU在内的计算资源，降低了机器学习和深度学习的入门门槛.
• 集成方便：默认集成了Hugging Face Transformers库等常用工具和库，方便用户快速开展相关的研究和实验，还能直接从Pandas读取Hugging Face数据集，大大简化了数据处理和模型训练的工作流程.
• 易于分享：笔记...

Read more

1. 定义与概念

2. 元学习（Meta - Learning）也被称为“学习如何学习”（Learning to Learn）。它的主要目标是让机器能够快速学习新的任务，通过在多个相关任务的学习过程中积累经验，从而能够更高效地适应新的、未见过的任务。传统机器学习方法侧重于针对单个任务进行优化，而元学习则关注如何利用从多个任务中获取的知识来提升模型的泛化能力和学习效率。例如，人类在学习过程中可以从多个相似学科（如不同类型的数学分支）的学习经验中总结出通用的学习策略，元学习试图让机器也具备类似的能力。

3. 主要方法

4. 基于模型的元学习方法
   • MAML（Model - Agnostic Meta - L...

Read more