下游任务-

334 views

定义
在机器学习和自然语言处理等领域，“downstream tasks”（下游任务）是相对于“pre - training”（预训练）而言的。预训练是在大规模通用数据上对模型进行初步训练，学习通用的知识和模式。而下游任务是指在预训练模型的基础上，针对特定的应用场景和具体的目标进行的任务，这些任务通常数据规模较小，并且有明确的、具体的输出要求。
例如，在自然语言处理中，预训练语言模型（如BERT）在大规模文本数据上学习语言知识后，文本分类、情感分析、命名实体识别等具体应用就是下游任务。
下游任务的类型（以自然语言处理为例）
文本分类（Text Classification）
- 任...

预训练-

236 views

定义
“pre - train”（预训练）在机器学习和自然语言处理等领域是一种重要的训练策略。它是指在大规模的通用数据上先对模型进行初步训练，使模型学习到数据中的一般特征和模式，得到一个具有一定泛化能力的初始模型状态。
例如，在自然语言处理中，预训练语言模型可以在大量的文本语料（如互联网文本、书籍、新闻等）上进行训练，这个过程中模型学习到词汇的语义、语法结构、句子之间的关系等知识。
预训练的方法和技术
无监督学习方法
- 自监督学习（Self - supervised Learning）：这是预训练中常用的方法。模型通过自己预测输入数据的一部分来进行学习。例如，在语言模型的预训练中...

标量-

233 views

在数学及相关领域中，“scalar”通常指“标量”，以下是关于标量的详细介绍：

1. 定义

标量是只有大小，没有方向的量。与之相对的是向量（vector），向量既有大小又有方向。例如，常见的温度、质量、时间、长度等物理量都是标量。像室内的温度是25摄氏度，这里的“25摄氏度”仅体现了数值大小，不存在方向的概念，所以温度就是一个标量；再比如一个物体的质量是5千克，“5千克”同样只是一个表示多少的数值，属于标量范畴。

2. 与向量的区别

几何表示差异：
- 向量在几何上通常用有向线段来表示，线段的长度表示向量的大小（模长），箭头所指的方向表示向量的方向。比如在平面直角坐标系中，向量可以用坐...

李沐-深度学习-在线课程官网

313 views

动手学深度学习在线课程

官网

github

这是动手学深度学习在线课程的相关介绍，课程于2021年3月20日开始，预计7月结束，内容涵盖深度学习基础、卷积神经网络、计算机视觉、循环神经网络、自然语言处理等方面，具有以下特点：

课程背景与特点
背景：深度学习发展迅速但模型复杂，本课程从零开始教授，只需基础Python编程和数学知识。
特点：讲述模型算法同时用PyTorch实现细节，含四次课程竞赛，内容紧靠《动手学深度学习》第二版，被近200所大学采用。
讲师与参与方式
讲师：AWS资深首席科学家、美国卡内基梅隆大学计算机系博士李沐。
参与方式：无需注册或缴费，直播时...

动手学深度学习

235 views

动手学深度学习是一种强调通过实践来深入理解和掌握深度学习知识与技能的学习方式，其核心在于将理论学习与实际操作紧密结合，使学习者能够在实践中真正理解深度学习模型的原理、算法以及应用场景。

核心要点

实践导向：不仅仅是理论知识的学习，更注重让学习者亲自上手操作，实现深度学习模型，从而加深对概念的理解。例如在课程中会教授如何用代码实现各种深度学习算法，像线性回归、卷积神经网络等模型的从零开始构建，让学习者明白模型内部的运行机制。
涵盖广泛内容：包括深度学习基础、多种类型的神经网络（如卷积神经网络、循环神经网络、注意力机制等）以及在计算机视觉和自然语言处理等领域的应用。以课程安排为例，从基础的...

审计框架-

285 views

定义
审计框架（Audit Framework）：是一套用于系统地规划、执行、监督和报告审计工作的结构化体系。它包括一系列的政策、程序、方法和标准，目的是确保审计过程的科学性、公正性和有效性。在传统审计领域，主要用于财务审计等方面，检查财务报表是否真实、准确地反映了企业的财务状况。
机器学习（Machine Learning）：是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。在数据挖掘、自然语言处理、图像识别等众多领域有广泛应用。
...

多类别指标

274 views

定义和背景
在多类别分类问题（如将图像分为多个不同的物体类别、文本分类到多个主题类别等）中，需要使用特定的评估指标来衡量模型的性能，这些指标被称为多类别指标（Multi - Class Metrics）。与二分类问题不同，多分类问题的评估更为复杂，因为涉及到多个类别之间的混淆情况。
常见的多类别指标
宏平均（Macro - averaging）
- 计算方法：先分别计算每个类别的评估指标（如精确率、召回率、F1 - score），然后对这些类别指标求算术平均值。例如，对于一个三分类问题，类别为(A)、(B)、(C)，分别计算出类别(A)的精确率(P_A)、类别(B)的精确率(P_B...

数据增强-

249 views

基本概念
数据增强（Data Augmentation）是一种在数据层面进行操作的技术，主要用于扩充数据集。在机器学习和深度学习的模型训练过程中，数据的数量和质量对模型的性能有着至关重要的影响。数据增强通过对原始数据进行一系列变换，生成新的、与原始数据相似的数据样本，从而增加数据的多样性和规模。
在计算机视觉中的应用
几何变换
- 旋转（Rotation）：将图像围绕一个中心点按照一定的角度进行旋转。例如，对于一个手写数字识别任务，把数字图像进行不同角度（如0 - 30度、30 - 60度等）的旋转，生成新的图像样本。这样可以让模型学会识别处于不同倾斜角度的数字，增强模型的鲁棒性。...

混淆矩阵-

299 views

定义
混淆矩阵（Confusion Matrix）是在机器学习和统计学的分类问题中，用于评估分类模型性能的一种工具。它是一个表格，展示了分类模型预测结果和实际真实标签之间的比较情况。
对于一个二分类问题，混淆矩阵是一个(2\times2)的矩阵，包含真正例（True Positive，TP）、假正例（False Positive，FP）、真反例（True Negative，TN）和假反例（False Negative，FN）这四个元素。例如，在判断一封邮件是否为垃圾邮件的任务中，如果模型正确地将垃圾邮件预测为垃圾邮件，这就是一个真正例；如果将正常邮件错误地预测为垃圾邮件，就是假正例。...

F1 - score-