分类目录归档:基础设施

黑箱攻击


黑箱攻击是指攻击者在无法获取机器学习模型内部结构、参数及训练数据等详细信息的情况下,仅通过模型的输入和输出,来生成对抗样本以误导模型做出错误预测的攻击方式.以下是其相关介绍:

主要类型

  • 基于迁移的攻击:利用在一个模型上生成的对抗样本对其他模型进行攻击,需找到模型间的共性和迁移性,攻击成功率不确定,访问次数少,约10次左右.
  • 基于访问的攻击:通过大量查询模型获取输入输出信息来生成对抗样本,可细分为基于分数的攻击和基于决策的攻击。基于分数的攻击需获得连续预测分数,不适用于多数现实场景;基于决策的攻击则完全依赖模型最终决策,更贴合实际,如演化攻击就是一种高效的基于决策的黑箱攻击方法.

常用...

Read more

FGSM


FGSM是快速梯度符号法(Fast Gradient Sign Method)。

一、原理

在机器学习领域,特别是对抗攻击场景下,FGSM是一种用于生成对抗样本的方法。对于一个神经网络模型,给定输入样本和对应的真实标签,FGSM通过计算损失函数关于输入的梯度,然后根据梯度的符号来生成对抗扰动。

假设神经网络模型为 $f(x)$,输入样本为 $x$,真实标签为 $y$,损失函数为 $L(f(x),y)$。FGSM计算损失函数关于输入 $x$ 的梯度 $\nabla_xL$,然后生成对抗扰动 $\epsilon\cdot sign(\nabla_xL)$,其中 $\epsilon$ 是一个很...

Read more

无目标分类


Untargeted Classification(无目标分类)

一、定义

无目标分类是机器学习分类任务中的一种模式,与有目标分类相对应。在无目标分类中,分类器的目标仅仅是将输入数据划分到已有的类别当中,但并不特定指向某一个具体的期望类别,只要能正确区分出不同类别即可。也就是说,重点在于识别出输入样本所属的类别,而不要求将其归类到某个预先设定好的特定目标类别里。

二、示例及应用场景

(一)图像识别领域

  1. 动物识别示例 在一个简单的动物图像识别系统中,训练数据包含了猫、狗、兔子等多种动物的图片,并且分别进行了类别标注。当使用这个系统进行无目标分类时,对于输入的一张动物图像,分类器只需判断它...

Read more

受害模型


Victim Model(受害模型)

一、定义

在对抗攻击、恶意软件分析、隐私侵犯等安全相关场景以及模型评估等领域,“Victim Model”指的是受到攻击、干扰、误导或者作为被研究对象以评估其脆弱性的机器学习模型、统计模型或系统模型。这个模型通常是攻击者的目标,攻击者通过各种手段(如对抗攻击、模型窃取等)试图使它产生错误的输出、泄露敏感信息或者破坏其正常的功能。

二、在不同场景中的含义和应用

(一)对抗攻击场景

  1. 攻击目标
  2. 在对抗攻击(如生成对抗网络中的对抗样本攻击、对抗性机器学习攻击)中,Victim Model是攻击者试图欺骗的对象。攻击者利用模型的输入空间,通过添加精心设计的微...

Read more

对抗性输入


Adversarial Input(对抗性输入)

一、定义

Adversarial Input是指在机器学习和人工智能领域中,经过精心设计或修改的输入数据,其目的是使机器学习模型(如神经网络、分类器等)产生错误的输出或行为。这些输入数据通常是在原始正常数据的基础上添加了微小的、难以察觉的扰动,从而欺骗模型做出不准确的预测或决策。

二、产生原理

(一)基于梯度的扰动生成

  1. 快速梯度符号法(FGSM)原理
  2. 对于一个给定的机器学习模型(f(x)),其输入为(x),输出为预测结果(如分类结果)。假设模型的损失函数为(L(f(x),y))(其中(y)是真实标签)。FGSM通过计算损失函数对输入(x...

Read more

模仿攻击


我猜你想说的可能是“imitation attack”(模仿攻击)。

一、定义

模仿攻击是一种网络安全或信息对抗领域的攻击方式。攻击者试图模仿合法用户、系统或设备的行为、特征或信号,以此来绕过安全检测机制或者获取未经授权的访问权限。

二、攻击原理

(一)身份模仿

  1. 用户名和密码窃取与使用
  2. 攻击者通过网络钓鱼、恶意软件感染或利用系统漏洞等方式,获取合法用户的用户名和密码。然后,使用这些凭据登录到目标系统,模仿合法用户的访问行为。例如,在企业网络环境中,攻击者通过发送伪装成公司内部邮件的钓鱼邮件,诱导员工输入用户名和密码。一旦获取这些信息,攻击者就可以登录企业的内部系统,如财务系统、客户关系...

Read more

依存句法分析


Dependency Parsing(依存句法分析)

一、定义

依存句法分析是自然语言处理(NLP)中的一种语法分析技术,它的目的是确定句子中词与词之间的依存关系。这种依存关系描述了一个词(称为从属词)在语法上依赖于另一个词(称为支配词)的关系,通过这种分析可以揭示句子的句法结构。

二、依存关系的表示

(一)依存关系类型

  1. 主谓关系(Subject - Verb)
  2. 在句子“小明跑步”中,“小明”是主语,“跑步”是谓语,“小明”和“跑步”之间是主谓关系,即“跑步”这个动作是由“小明”发出的。这种关系体现了句子的核心动作和执行者之间的联系。
  3. 动宾关系(Verb - Object)
  4. 例如在“吃...

Read more

逃逸攻击


Evasion Attack(逃逸攻击)

一、定义

Evasion Attack(逃逸攻击)是一种网络安全和机器学习领域的攻击方式。在安全检测系统(如入侵检测系统、恶意软件检测系统、垃圾邮件过滤器等)的情境下,攻击者试图通过巧妙地修改攻击样本(如恶意软件、恶意网络流量、垃圾邮件等)的特征,使其能够逃避这些安全检测系统的识别,从而成功地渗透进目标系统或者达到恶意目的。

二、攻击原理

(一)特征修改

  1. 代码混淆
  2. 在恶意软件攻击中,攻击者会使用代码混淆技术。这包括对恶意软件的代码结构进行变换,例如改变变量名、函数名,添加冗余代码、加密部分代码段等。通过这些操作,恶意软件的代码特征与已知的恶意软...

Read more

对抗攻击


对抗攻击(Adversarial Attack)

一、定义

对抗攻击是指在机器学习和人工智能领域,攻击者通过在原始数据(如图像、文本等)中添加精心设计的微小扰动,使得机器学习模型(如分类器、目标检测器等)产生错误的输出。这些扰动通常是人眼难以察觉或者在正常的数据变化范围内,但却能有效地误导模型。

二、攻击原理

(一)基于梯度的攻击方法

  1. 快速梯度符号法(FGSM)
  2. 原理:这是一种简单而有效的攻击方法。它基于模型对输入数据的梯度来计算扰动。对于一个分类模型,假设输入数据为(x),模型的输出为(y = f(x)),损失函数为(L(y, t))(其中(t)是真实标签)。FGSM通过计算损失函数...

Read more

数字分类器


数字分类器(Digit Classifier)

一、定义

数字分类器是一种机器学习模型,主要用于对数字(通常是0 - 9)的图像或其他数字表示形式进行分类。其目标是根据输入的数字样本特征,准确地判断该数字属于0 - 9中的哪一个类别。

二、常见的数字分类器类型

(一)基于传统机器学习算法的数字分类器

  1. 决策树分类器
  2. 原理:决策树是一种基于树结构的分类模型。它通过对数据特征的一系列判断来进行分类。对于数字分类,它可能会根据数字图像的某些特征,如笔画的方向、数字的高度和宽度比例等进行划分。例如,它可能首先判断数字图像是否有一个封闭的环形(这可以区分0、6、8和其他数字),然后根据其他特征进一...

Read more