分类目录归档:人工智能

少样本学习-


  1. 定义与概念
  2. 少样本学习(Few - Shot Learning)是一种机器学习范式,旨在让模型在仅有少量训练样本(通常远少于传统机器学习任务所需的样本数量)的情况下,能够快速学习并对新的样本进行准确分类或预测。例如,在一个图像分类任务中,传统方法可能需要成百上千张标注好的图像来训练一个可靠的分类模型,而少样本学习可能只需要每个类别几张(如1 - 5张)图像就能进行学习。

  3. 主要方法

  4. 基于度量学习的方法
    • 原型网络(Prototypical Networks):假设每个类别都有一个原型(通常是该类别样本的均值向量)。在训练阶段,给定少量的样本,计算每个类别的原型。在测试阶段,新的样本...

Read more

终身学习-ML


  1. 定义
  2. 终身学习(Life - long Learning)在机器学习领域是一种学习范式,它强调模型能够不断地从新的数据和任务中学习知识,并且能够在较长的时间跨度内持续更新和改进自己的知识体系,就像人类的终身学习一样。传统的机器学习模型通常是针对特定的任务和数据集进行训练,训练完成后模型基本固定,而终身学习机器学习则要求模型具有动态适应性。

  3. 终身学习机器学习的特点

  4. 持续学习能力
    • 模型能够在不同时间点接收新的数据,并利用这些新数据来更新自己的参数和知识结构。例如,一个图像识别模型在初始阶段学会了识别常见的动物,随着时间推移,当遇到新的动物品种或者不同拍摄风格的动物图像时,它可以将这...

Read more

网络压缩-


  1. 定义
  2. 网络压缩(Network Compression)是一种用于减少神经网络模型大小和计算复杂度的技术。随着深度学习的发展,神经网络模型变得越来越庞大和复杂,这对存储资源和计算资源都提出了很高的要求。网络压缩旨在在尽量不损失模型性能的前提下,对模型进行精简,使其更适合在资源受限的设备上运行,同时也能提高模型的推理速度。

  3. 网络压缩的方法

  4. 参数修剪(Parameter Pruning)
    • 定义与原理:参数修剪是指从神经网络模型中去除一些不重要的参数(如神经元连接的权重)。在训练后的模型中,很多参数的值可能非常小,对模型的最终输出贡献不大。通过识别并剪掉这些不重要的参数,可以减少模型...

Read more

领域自适应-


  1. 定义与概念
  2. 领域自适应(Domain Adaptation)是机器学习中的一个重要研究方向,主要用于解决当训练数据(源域)和测试数据(目标域)的分布不同时,如何有效利用源域数据训练出在目标域也能良好工作的模型的问题。例如,在图像分类任务中,源域可能是在晴天条件下拍摄的交通标志图像,而目标域是在雨天条件下拍摄的交通标志图像。由于光线、天气等因素的影响,两个域的数据分布存在差异。

  3. 主要方法

  4. 基于特征的方法
    • 特征变换:通过找到一种变换方式,将源域和目标域的数据映射到一个公共的特征空间,使得在这个空间中两个域的数据分布尽可能相似。例如,使用主成分分析(PCA)等降维技术,将源域和目标域...

Read more

模型攻击-


  1. 定义与背景
  2. 模型攻击(Model Attack)是指攻击者通过各种手段干扰、欺骗或破坏机器学习模型,使其产生错误的输出。随着机器学习模型在众多关键领域(如金融、医疗、安全等)的广泛应用,模型攻击成为一个日益重要的研究课题。攻击者的动机可能包括获取经济利益(如在金融欺诈中)、破坏系统的正常运行(如干扰自动驾驶系统)或者获取隐私信息等。
  3. 常见攻击类型
  4. 对抗攻击(Adversarial Attacks)
    • 原理:在对抗攻击中,攻击者通过在原始输入数据上添加微小的、精心设计的扰动,使得模型产生错误的输出。这些扰动通常是人眼难以察觉的。例如,在图像分类任务中,对于一张正确分类为“猫”的图像,攻击者...

Read more

可解释性人工智能-


  1. 定义与背景
  2. 可解释性人工智能(Explainable AI,XAI)是人工智能领域的一个重要分支,旨在使人工智能模型(尤其是复杂的深度学习模型)的决策过程和结果能够被人类理解。随着深度学习模型在各种复杂任务(如图像识别、自然语言处理等)中取得巨大成功,这些模型往往是复杂的黑盒模型,例如深度神经网络具有大量的参数和复杂的层次结构,很难直观地理解它们是如何做出决策的。而在许多关键领域,如医疗、金融、法律等,仅仅知道模型的输出结果是不够的,还需要理解模型为什么做出这样的决策,这就催生了XAI的发展。
  3. 主要方法
  4. 特征重要性方法:这种方法用于衡量输入特征对于模型决策的相对重要性。例如,在一个预测...

Read more

异常检测-


异常检测(Anomaly Detection)是数据挖掘和机器学习领域中的一个重要任务,用于识别数据集中不符合预期模式或行为的数据点。以下是详细介绍:

一、基本概念

  1. 定义
  2. 异常检测旨在发现那些与正常数据模式显著不同的数据实例。这些异常点可能是由于系统故障、欺诈行为、网络攻击、数据录入错误等多种原因导致的。例如,在信用卡交易数据中,一笔异常大的交易或者在非寻常地点进行的交易可能是信用卡被盗刷的迹象;在工业生产过程中,设备的某个传感器读数突然偏离正常范围,可能表示设备出现故障。
  3. 正常数据与异常数据的对比
  4. 正常数据通常遵循一定的分布规律或模式。以人体体温为例,正常人体温一般在36 - 37摄...

Read more

生成对抗网络-


  1. 定义
  2. 生成对抗网络(Generative Adversarial Network,简称GAN)是一种深度学习架构,由生成器(Generator)和判别器(Discriminator)两个相互对抗的神经网络组成。生成器的目的是生成尽可能逼真的数据,以“欺骗”判别器;判别器的任务是区分输入的数据是来自真实数据集还是由生成器生成的,通过这种对抗的方式,两个网络不断地进行训练并提升性能。

  3. 网络结构和工作原理

  4. 生成器(Generator)
    • 生成器通常是一个由神经网络构建的函数,它接收一个随机噪声向量(通常是低维的)作为输入,通过一系列的神经网络层(如全连接层、反卷积层等,在图像生成任务中...

Read more

基础模型-


定义

  • Foundation model(基础模型)是一种大规模的机器学习模型,它通过在海量的数据上进行训练,通常采用自监督学习或半监督学习的方式,从而能够适应广泛的下游任务 。

特点

  • 涌现性:由于训练数据未经过人工明确标注,模型会涌现出一些未被预先设定的特性和能力。例如,一个在大规模语言数据集上训练的模型,可能会自行学会生成故事或进行算术运算,而无需明确编程让其具备这些功能.
  • 同质化:指在许多领域中都使用相同的方法,这虽然能带来强大的进步,但也存在“单点故障”的可能性。比如,很多基础模型都基于相似的架构和训练方式,一旦这种架构或训练方式存在缺陷,可能会影响到多个应用领域.

常见类...

Read more

下游任务-


  1. 定义
  2. 在机器学习和自然语言处理等领域,“downstream tasks”(下游任务)是相对于“pre - training”(预训练)而言的。预训练是在大规模通用数据上对模型进行初步训练,学习通用的知识和模式。而下游任务是指在预训练模型的基础上,针对特定的应用场景和具体的目标进行的任务,这些任务通常数据规模较小,并且有明确的、具体的输出要求。
  3. 例如,在自然语言处理中,预训练语言模型(如BERT)在大规模文本数据上学习语言知识后,文本分类、情感分析、命名实体识别等具体应用就是下游任务。

  4. 下游任务的类型(以自然语言处理为例)

  5. 文本分类(Text Classification)
    • 任...

Read more