作业平台-RoadMap-ONEY
评论
447 views
数据增广
评论
346 views
数据增广是一种在机器学习和深度学习中广泛应用的数据处理技术，通过对原始数据进行各种变换，增加数据的多样性和数量，从而提高模型的泛化能力和鲁棒性。以下是详细介绍：
常用方法
- 几何变换
- 翻转：对图像进行水平或垂直翻转，增加数据的多样性。例如在图像识别任务中，一张猫的图片经过水平翻转后，依然是猫的图片，但在模型看来是不同的样本。
- 旋转：将图像按照一定角度进行旋转，如随机旋转0°到360°之间的某个角度。对于一些具有旋转不变性的物体，旋转后的图像可以扩充训练数据。
- 缩放：对图像进行放大或缩小，改变图像的尺寸。可以按照一定比例进行等比例缩放，也可以进行非等比例缩放。
- 裁剪：从原始图像中随机裁剪出...
预训练模型
评论
377 views
预训练模型是指在大规模的通用数据集上进行预先训练，学习到丰富的特征表示或通用知识，然后可根据具体任务需求进行微调的深度学习模型。以下是对其详细介绍：
工作原理
- 无监督学习阶段：在预训练阶段，模型通常使用无监督学习的方式在海量数据上进行训练。例如，在自然语言处理中，自回归语言模型如GPT系列根据上文内容预测下一个可能的单词或字符；自编码语言模型如BERT通过随机Mask输入句子中的部分单词，并训练模型根据上下文预测这些被Mask的单词。
- 微调阶段：将预训练好的模型应用于特定任务时，使用该任务的小规模有标注数据集对模型进行微调。通过微调，模型可以学习到特定任务的特征和模式，从而更好地适应具...
重用分类器权重
评论
374 views
重用分类器权重是一种在机器学习和深度学习中常见的技术手段，以下是关于它的详细介绍：
概念
- 当处理多个相关但又不完全相同的分类任务时，将在一个已训练好的分类器上学习到的权重参数，直接或经过一定调整后应用到新的分类器中，以加快新分类器的训练过程或提升其性能，这种做法称为重用分类器权重。
优势
- 加快训练速度：从头开始训练一个分类器通常需要大量的时间和计算资源，尤其是在处理大规模数据集或复杂模型时。通过重用已有的权重，可以利用之前学习到的特征表示和模式，新分类器只需在此基础上进行微调，从而大大减少了训练时间。
- 提升性能：已训练好的分类器权重中包含了对数据中通用特征和模式的有效学习，如果新任...
目标数据集
评论
358 views
目标数据集（Target Dataset）通常是相对于源数据集而言的，是在特定任务处理过程中，经过一系列操作后最终要用于特定分析、模型训练、评估等目的的数据集合，以下是对其详细介绍：
概念与来源
- 概念：它是对源数据集进行清洗、转换、特征提取、筛选等多种数据预处理操作，以及可能按照特定需求进行数据划分后所形成的数据集，旨在满足具体任务（如机器学习模型训练、数据分析项目等）对于数据格式、质量、特征维度等方面的要求。
- 来源：主要来源于对源数据集的加工处理，不过在一些场景下，也可能是通过新的采集途径专门收集来满足特定任务目标的数据集合。
特点
- 针对性：紧密围绕特定的任务目标构建，例如针对图...
源数据集
评论
356 views
源数据集（Source Dataset）是指在进行数据分析、机器学习、数据挖掘等任务时，最初获取的未经处理或仅经过初步处理的原始数据集合，以下是关于它的详细介绍：
特点
- 原始性：它是最原始的数据记录，保留了数据的初始状态和所有细节，包括可能存在的噪声、错误、冗余等信息。
- 规模性：其规模大小不一，可能是少量的实验数据，也可能是海量的互联网数据或企业业务数据等。
- 多样性：数据类型丰富多样，涵盖结构化数据（如关系型数据库中的表格数据）、半结构化数据（如XML、JSON格式的数据）和非结构化数据（如文本、图像、音频、视频等）。
常见类型
- 图像数据集：如MNIST数据集，由手写数字的图像组成...
Softmax回归
评论
322 views
Softmax回归是一种用于多分类问题的广义线性回归模型，在机器学习和深度学习领域中有着广泛的应用，以下是对其详细介绍：
基本原理
- Softmax回归将输入特征向量映射为一个类别概率分布，通过计算每个类别的概率，来预测输入样本属于各个类别的可能性。
- 假设输入特征向量为(\mathbf{x})，模型的参数为(\mathbf{W})和(\mathbf{b})，其中(\mathbf{W})是权重矩阵，(\mathbf{b})是偏置向量。对于一个具有(C)个类别的多分类问题，Softmax回归的计算公式如下： [ \begin{align} \mathbf{z}&=\mathbf{W}...
特征抽取
评论
327 views
特征抽取（Feature Extraction）是一种从原始数据中自动提取具有代表性和区分性特征的技术，广泛应用于机器学习、数据挖掘、计算机视觉、自然语言处理等领域，以下是对其详细介绍：
概念及目的
- 旨在将原始数据转换为更适合后续分析和处理的形式，通过对原始数据进行数学变换或映射，提取出能够有效描述数据本质特征的低维向量表示，从而减少数据的冗余和噪声，提高算法的效率和性能。
方法
- 基于统计的方法
- 主成分分析（PCA）：通过对数据协方差矩阵进行特征分解，找到数据的主成分，将原始数据投影到由主成分构成的低维空间中，实现数据的降维和特征提取。常用于数据可视化、图像压缩等领域。
- 线性判别分...
DevOps模型
评论
334 views
DevOps Model即DevOps模型，是一种将软件开发（Development）和信息技术运维（Operations）相结合的软件开发与运维一体化的模式，旨在打破开发团队和运维团队之间的壁垒，实现更高效的软件交付和运维。以下是关于它的详细介绍：
核心概念
- 协作与沟通：强调开发团队和运维团队之间的紧密协作与沟通，通过建立共同的目标和利益，消除以往存在的部门隔阂，形成一个高效协同的工作整体。
- 自动化：广泛运用自动化工具和技术，实现从代码构建、测试、部署到运维监控等一系列流程的自动化，减少人工操作带来的错误和延迟，提高工作效率和软件质量。
- 持续集成与持续交付/部署（CI/CD）：通过频...
敏捷模型-软件工程
评论
332 views
Agile Model即敏捷模型，是一种以人为核心、迭代推进、快速响应变化的软件开发方法，以下是对其详细介绍：
核心价值观与原则
- 个体和互动高于流程和工具：强调团队成员之间的直接沟通和互动，认为这比严格遵循流程和工具更为重要，通过面对面交流、协作等方式及时解决问题。
- 可工作的软件高于详尽的文档：注重快速交付可运行的软件，让用户能够尽早看到实际的成果并提供反馈，而不是花费大量时间在编写详尽的文档上。
- 客户协作高于合同谈判：鼓励客户在整个开发过程中积极参与，与开发团队紧密协作，共同确定需求和优先级，而不是仅仅依靠合同来约束。
- 响应变化高于遵循计划：能够快速响应需求的变化，将变化视为软件开发...