相似性（Similarity）

一、定义

相似性是一个用于衡量两个或多个对象之间在某些特征、属性或关系方面接近程度的概念。在众多领域，如数据挖掘、机器学习、信息检索、计算机视觉等，相似性的度量都是非常关键的环节，它帮助我们理解对象之间的关联，进行分类、聚类、检索等操作。

二、相似性度量方法

（一）距离度量法

1. 欧几里得距离（Euclidean Distance）
2. 定义：对于在(n)维空间中的两个点(x=(x_1,x_2,\cdots,x_n))和(y=(y_1,y_2,\cdots,y_n))，欧几里得距离公式为(d(x,y)=\sqrt{\sum_{i = 1}^{n}(x_i - y...

Read more

t - SNE（t - 分布随机邻域嵌入）

一、概述

t - SNE是一种广泛用于高维数据可视化和降维的机器学习算法。它的主要目的是将高维数据映射到低维空间（通常是二维或三维），同时尽可能地保留数据点之间的相对距离和分布关系。这种算法在数据分析、数据挖掘、机器学习等众多领域发挥着重要作用，尤其是在处理复杂的高维数据集时，能够帮助研究人员直观地理解数据的结构和模式。

二、原理

1. 相似度度量
2. 在高维空间中，t - SNE首先计算数据点之间的相似度。它使用条件概率来表示相似度。对于每个数据点(x_i)，计算它与其他数据点(x_j)的条件概率(p_{j|i})，这个概率表示在给定数据点(x_i)...

Read more

Manifold Learning（流形学习）

一、引言

Manifold Learning是机器学习和数据分析领域中一个重要的概念。它主要用于处理高维数据，试图发现高维数据中隐藏的低维结构。在实际的数据中，许多高维数据集实际上是分布在一个低维的流形（manifold）上的。例如，想象一张被揉皱的纸，这张纸本身是二维的，但在三维空间中呈现出复杂的形状；同样，高维数据可能在更高维的空间中“扭曲”，而流形学习的目的就是将其展开并找到其本质的低维结构。

二、基本定义

1. 流形（Manifold）
2. 从数学角度看，流形是一个局部具有欧几里得空间性质的空间。简单来说，在流形的每一个小局部区域，它看起来...

Read more

Adam即自适应矩估计（Adaptive Moment Estimation），是一种在深度学习中广泛使用的优化算法，以下是关于它的详细介绍：

基本原理

• 结合动量与自适应学习率：Adam算法本质上是结合了动量法和RMSProp算法的思想。它既考虑了梯度的一阶矩估计（类似于动量法中的动量项，用于积累历史梯度信息以加速收敛），又考虑了梯度的二阶矩估计（用于自适应地调整学习率，对不同参数根据其历史梯度的变化情况采用不同的学习率）。
• 偏差修正：在算法的实现过程中，由于在迭代初期，梯度的矩估计可能存在较大偏差，Adam采用了偏差修正的方法来提高估计的准确性，使得算法在训练初期也能较为稳定地进行参...

Read more

冲量法（Momentum Method）也称为动量法，是一种在机器学习优化算法中常用的技术，尤其在随机梯度下降（SGD）及其变体的优化过程中被广泛应用。以下是对其的详细介绍：

基本原理

• 借鉴物理概念：冲量法借鉴了物理学中的动量概念，它考虑了之前梯度更新的历史信息，就像物体在运动中具有惯性一样，在优化过程中引入了一个动量项来加速收敛并减少震荡。
• 更新规则：在每次迭代中，不仅根据当前的梯度来更新参数，还会考虑上一次更新的方向和大小，即动量。具体来说，它会将当前梯度与之前积累的动量进行加权求和，然后再根据这个和来更新参数。

数学表达式

• 设参数为(\theta)，学习率为(\alpha)，...

Read more

以下是按照重要程度总结出的机器学习的100个关键字：

基础概念

1. 算法：机器学习的核心是各种算法，如线性回归、决策树、支持向量机等，用于从数据中学习模式和规律。
2. 模型：通过算法对数据进行训练得到的数学表示，用于对未知数据进行预测或分类。
3. 数据：机器学习的基础，包括结构化数据、半结构化数据和非结构化数据等，质量和数量对模型效果至关重要。
4. 特征：数据中用于描述对象的属性或变量，选择合适的特征是提高模型性能的关键。
5. 标签：在监督学习中，与特征相对应的已知结果或类别，用于模型的训练和评估。
6. 训练：使用已知数据对模型进行学习和调整参数的过程，使其能够对未知数据进行准确预测。
7. 测试：在训练完成后，使...

Read more

1. 定义

   • 对角矩阵（Diagonal Matrix）是一种方阵，即行数和列数相等的矩阵。在对角矩阵中，除了主对角线（从左上角到右下角的对角线）上的元素外，其余元素都为0。主对角线元素可以是任意实数或复数。例如，一个(3\times3)的对角矩阵(D)可以表示为(D = \begin{bmatrix}a&0&0\0&b&0\0&0&c\end{bmatrix})，其中(a)、(b)、(c)是主对角线上的元素。

2. 性质

   • 乘法性质
     • 对角矩阵与同阶方阵相乘相对简单。设(A)是一个(n\times n)的对角矩阵(A=\begin{bmatr...

Read more

1. 定义

   • 在统计学和信号处理领域：decorrelation（去相关）是指减少或消除变量之间相关性的过程。当两个或多个变量之间存在相关性时，意味着它们的变化不是相互独立的，通过去相关操作可以使它们在一定程度上相互独立。例如，在时间序列数据中，两个时间序列可能因为受到共同因素的影响而具有相关性，去相关可以将这种关联去除，使得分析更加简单。
   • 在向量和矩阵的情境下：对于一组向量，如果它们之间存在线性相关性，通过一定的变换可以使它们变成相互正交（不相关）的向量，这个过程也称为去相关。

2. 方法

   • 主成分分析（PCA）
     • 原理：PCA是一种常用的去相关方法，特别是对于高维数据。它基于数据的协方差...

Read more

1. 定义

   • 在数学和线性代数领域，对于一个方阵(A)，如果存在一个非零向量(x)和一个标量(\lambda)，使得(Ax = \lambda x)，那么向量(x)被称为方阵(A)的特征向量（eigenvector），标量(\lambda)称为对应的特征值（eigenvalue）。简单来说，特征向量是在矩阵变换下方向不变（可能会反向），而长度可能会改变的向量。例如，对于一个旋转矩阵，如果有向量在旋转后方向不变（只是长度可能改变），那么这个向量就是该旋转矩阵的特征向量。

2. 计算方法

   • 特征方程法：对于(n\times n)方阵(A)，计算特征值是通过求解特征方程(\det(A - \la...

Read more

1. 定义
   • 在数学中，特别是矩阵分析领域，一个实对称矩阵(A)如果对于任意非零向量(x)，都有(x^TAx\geq0)，那么矩阵(A)被称为半正定矩阵（positive - semidefinite）。其中(x^T)是向量(x)的转置。如果对于任意非零向量(x)，有(x^TAx > 0)，那么矩阵(A)是正定矩阵（positive - definite）。可以看出正定矩阵是半正定矩阵的一种特殊情况。
2. 判定方法
   • 特征值判定：实对称矩阵(A)是半正定矩阵当且仅当它的所有特征值都大于或等于(0)。例如，对于一个(2\times2)的实对称矩阵(A=\begin{bmatrix}a&...

Read more