显著图（Saliency Map）

一、定义

显著图是一种在计算机视觉、机器学习等领域广泛使用的工具，用于突出显示图像（或其他数据形式）中最显著、最能吸引注意力的区域。它本质上是一个与原始图像尺寸相同（或经过适当缩放）的映射图，其中每个像素的值表示该像素在整个图像中的显著程度。这些值可以通过各种算法和技术进行计算，较高的值表示该像素所在区域在视觉或语义上更重要、更值得关注。

二、计算方法

（一）基于对比度的方法

1. 原理
2. 基于对比度的显著图计算方法主要是利用图像中不同区域之间的颜色、亮度等特征的差异来确定显著区域。例如，在一幅自然风景图像中，如果有一个红色的花朵在绿色的叶子背景中，花朵区域...

Read more

Explainable Machine Learning（可解释性机器学习）

一、引言

随着机器学习在众多领域的广泛应用，如医疗诊断、金融风险评估、司法决策等，人们对模型决策过程的理解需求日益增长。Explainable Machine Learning应运而生，它致力于使机器学习模型的决策过程和输出结果能够被人类理解。

二、什么是可解释性机器学习

（一）定义

可解释性机器学习是指能够以人类可理解的方式，揭示机器学习模型（如神经网络、决策树等）是如何做出预测或决策的。这包括解释模型的输入特征如何影响输出，模型的内部结构和机制如何运作，以及在给定的输入下，为什么会产生特定的输出。

（二）重...

Read more

相似性（Similarity）

一、定义

相似性是一个用于衡量两个或多个对象之间在某些特征、属性或关系方面接近程度的概念。在众多领域，如数据挖掘、机器学习、信息检索、计算机视觉等，相似性的度量都是非常关键的环节，它帮助我们理解对象之间的关联，进行分类、聚类、检索等操作。

二、相似性度量方法

（一）距离度量法

1. 欧几里得距离（Euclidean Distance）
2. 定义：对于在(n)维空间中的两个点(x=(x_1,x_2,\cdots,x_n))和(y=(y_1,y_2,\cdots,y_n))，欧几里得距离公式为(d(x,y)=\sqrt{\sum_{i = 1}^{n}(x_i - y...

Read more

t - SNE（t - 分布随机邻域嵌入）

一、概述

t - SNE是一种广泛用于高维数据可视化和降维的机器学习算法。它的主要目的是将高维数据映射到低维空间（通常是二维或三维），同时尽可能地保留数据点之间的相对距离和分布关系。这种算法在数据分析、数据挖掘、机器学习等众多领域发挥着重要作用，尤其是在处理复杂的高维数据集时，能够帮助研究人员直观地理解数据的结构和模式。

二、原理

1. 相似度度量
2. 在高维空间中，t - SNE首先计算数据点之间的相似度。它使用条件概率来表示相似度。对于每个数据点(x_i)，计算它与其他数据点(x_j)的条件概率(p_{j|i})，这个概率表示在给定数据点(x_i)...

Read more

智能体（Agent）的全面解析

一、定义

智能体是一个具有自主性、感知能力、决策能力和执行能力的实体，能够在环境中独立地采取行动以实现特定的目标。

• 自主性：智能体可以在没有外部直接干预的情况下，根据自身的内部状态和对环境的感知来控制自己的行为。例如，一个智能机器人可以自主地在房间里移动并避开障碍物，而不需要人类时刻进行远程控制。
• 感知能力：它能够感知周围环境的信息，这些信息可以通过多种方式获取，如传感器（对于物理智能体）或数据接口（对于软件智能体）。以自动驾驶汽车为例，它通过摄像头、雷达等传感器感知路况、其他车辆的位置和速度等信息。
• 决策能力：基于感知到的环境信息和自身的目标，智能体能...

Read more

大模型架构深入剖析

在人工智能领域，大规模模型凭借其强大的自学习能力和突出的实验效果，已成为现代AI系统的基石。本文将从模型基础构成、训练算法、优化策略到实际应用，对大模型架构进行深入剖析，并探讨其未来发展路径。

一、基础构成：核心模块与学习模型

大规模模型的核心由基础模块和学习机制组成，其中Transformer架构尤为重要。Transformer依托自注意力机制，能够高效处理大量数据并优化文本表示。

1. 基础模块：Transformer

Transformer通过全局观测解决了传统RNN类模型长距离信息传递不足的问题，其主要构成包括：

（1）Encoder-Decoder架构

E...

Read more

Manifold Learning（流形学习）

一、引言

Manifold Learning是机器学习和数据分析领域中一个重要的概念。它主要用于处理高维数据，试图发现高维数据中隐藏的低维结构。在实际的数据中，许多高维数据集实际上是分布在一个低维的流形（manifold）上的。例如，想象一张被揉皱的纸，这张纸本身是二维的，但在三维空间中呈现出复杂的形状；同样，高维数据可能在更高维的空间中“扭曲”，而流形学习的目的就是将其展开并找到其本质的低维结构。

二、基本定义

1. 流形（Manifold）
2. 从数学角度看，流形是一个局部具有欧几里得空间性质的空间。简单来说，在流形的每一个小局部区域，它看起来...

Read more

Adam即自适应矩估计（Adaptive Moment Estimation），是一种在深度学习中广泛使用的优化算法，以下是关于它的详细介绍：

基本原理

• 结合动量与自适应学习率：Adam算法本质上是结合了动量法和RMSProp算法的思想。它既考虑了梯度的一阶矩估计（类似于动量法中的动量项，用于积累历史梯度信息以加速收敛），又考虑了梯度的二阶矩估计（用于自适应地调整学习率，对不同参数根据其历史梯度的变化情况采用不同的学习率）。
• 偏差修正：在算法的实现过程中，由于在迭代初期，梯度的矩估计可能存在较大偏差，Adam采用了偏差修正的方法来提高估计的准确性，使得算法在训练初期也能较为稳定地进行参...

Read more

冲量法（Momentum Method）也称为动量法，是一种在机器学习优化算法中常用的技术，尤其在随机梯度下降（SGD）及其变体的优化过程中被广泛应用。以下是对其的详细介绍：

基本原理

• 借鉴物理概念：冲量法借鉴了物理学中的动量概念，它考虑了之前梯度更新的历史信息，就像物体在运动中具有惯性一样，在优化过程中引入了一个动量项来加速收敛并减少震荡。
• 更新规则：在每次迭代中，不仅根据当前的梯度来更新参数，还会考虑上一次更新的方向和大小，即动量。具体来说，它会将当前梯度与之前积累的动量进行加权求和，然后再根据这个和来更新参数。

数学表达式

• 设参数为(\theta)，学习率为(\alpha)，...

Read more

以下是按照重要程度总结出的机器学习的100个关键字：

基础概念

1. 算法：机器学习的核心是各种算法，如线性回归、决策树、支持向量机等，用于从数据中学习模式和规律。
2. 模型：通过算法对数据进行训练得到的数学表示，用于对未知数据进行预测或分类。
3. 数据：机器学习的基础，包括结构化数据、半结构化数据和非结构化数据等，质量和数量对模型效果至关重要。
4. 特征：数据中用于描述对象的属性或变量，选择合适的特征是提高模型性能的关键。
5. 标签：在监督学习中，与特征相对应的已知结果或类别，用于模型的训练和评估。
6. 训练：使用已知数据对模型进行学习和调整参数的过程，使其能够对未知数据进行准确预测。
7. 测试：在训练完成后，使...

Read more