作者文章归档:course

deeplearningbook-


这是一个深度学习相关的网页,主要提供了Ian Goodfellow、Yoshua Bengio和Aaron Courville所著的《Deep Learning》一书的相关信息。该书是一本旨在帮助学生和从业者进入机器学习尤其是深度学习领域的资源。以下是其主要内容:

书籍信息

  • 引用格式:提供了BibTeX引用格式,方便在学术研究中引用该书。
  • 模板文件:读者可下载模板文件,用于使用书中的LaTeX风格、数学符号或复制其符号页面来撰写自己的文档。

书籍目录

涵盖了从应用数学和机器学习基础到现代实用深度网络、深度学习研究等多方面内容,包括线性代数、概率与信息论、数值计算、机器学习基础、深度前...

Read more

均方误差损失


L2 Loss即均方误差损失(Mean Squared Error Loss),是一种在机器学习和深度学习中常用的损失函数,主要用于衡量模型预测值与真实值之间的差异。以下是对其的详细介绍:

定义

对于一个具有(n)个样本的数据集,假设模型的预测值为(\hat{y}i),真实值为(y_i),那么L2 Loss的计算公式为:(L2 Loss=\frac{1}{n}\sum^{n}(\hat{y}_i - y_i)^2)。

特点

  • 连续可导:这使得在使用基于梯度的优化算法(如随机梯度下降)时,可以方便地计算梯度并更新模型参数,从而能够有效地进行模型训练。
  • 对异常值敏感:由于是误差的平方项,异常...

Read more

二维卷积层


  1. 概念与数据结构
  2. 输入数据格式:二维卷积层主要用于处理二维数据,最典型的是二维图像数据。对于一幅彩色图像,其数据通常以三维张量的形式表示,格式为(高度,宽度,通道数)。例如,常见的RGB彩色图像,通道数为3,分别代表红色(R)、绿色(G)和蓝色(B)通道。如果图像的高度为$h$,宽度为$w$,那么整个图像数据的形状就是($h$,$w$,3)。
  3. 卷积核的形式:二维卷积核同样是一个小的张量,其形状通常为(卷积核高度,卷积核宽度,输入通道数,输出通道数)。例如,一个用于处理RGB图像的3x3卷积核,若要输出10个不同的特征图,其形状为(3,3,3,10)。这里的输入通道数要与输入图像的通道数...

Read more

卷积层


  1. 定义与基本结构
  2. 卷积层(Convolutional Layer)是卷积神经网络(CNN)的核心组件。它主要由输入数据、卷积核(也称为滤波器)和输出特征图(Feature Map)构成。输入数据通常是图像(例如,对于彩色图像,通道数为3,包括红、绿、蓝通道)或者其他具有类似网格结构的数据。卷积核是一个小的权重矩阵,其大小通常为正方形,如3×3、5×5等,用于对输入数据进行卷积操作。
  3. 例如,对于一个单通道的灰度图像,大小为28×28,一个3×3的卷积核会在这个图像上滑动。在每个滑动位置,卷积核与对应的图像局部区域进行逐元素相乘,然后将乘积相加,得到一个输出值。这个输出值构成了输出特征图中...

Read more

Devin.ai-人工智能工具在提升工程效率方面的应用及功能特性


Devin.ai主要介绍了Devin这一人工智能工具在提升工程效率方面的应用及功能特性,具体内容如下: 1. Nubank项目成果 - 工程效率提升:通过将核心ETL从旧架构迁移到子模块,原本预计18个月的迁移工作,在使用Devin后,工程时间效率提升了12倍,成本节省超过20倍,部分业务单元的迁移从数月或数年缩短至数周。 - 具体计算方式:效率提升通过对比完成数据类迁移任务的典型工程小时数与使用Devin完成相同任务所花费的总工程小时数得出;成本节省则是比较运行Devin的成本与工程师完成该任务的每小时成本,且未考虑项目提前数月完成所带来的额外价值。 2. Devin功...

Read more

CNN-平移不变性


  1. 卷积神经网络(CNN)中平移不变性的概念
  2. 在卷积神经网络中,平移不变性是指网络对输入图像(或其他数据)的平移具有鲁棒性。具体而言,当输入图像中的目标物体发生位置平移时,卷积神经网络仍然能够有效地提取出该物体的特征,并做出相同(或相似)的分类或预测。例如,一个训练好的用于识别手写数字的卷积神经网络,不管数字“7”在图像的中心位置,还是在图像的左上角或者其他位置,网络都应该能够正确地识别它。

  3. 卷积层如何实现平移不变性

  4. 卷积核的滑动机制:卷积层通过卷积核在输入图像上滑动进行卷积操作来提取特征。卷积核的权重是固定的,在整个图像上以固定的步长滑动。例如,一个3x3的卷积核在一个5x5的图...

Read more

AutoGluon-机器学习-开源库


AutoGluon是一个由Amazon科学家和工程师开发的开源库,在机器学习领域应用广泛,以下是关于它的详细介绍:

特点

  • 易用性:极大地简化了机器学习模型的训练过程,用户只需几行代码就能开始训练,即使没有深厚的机器学习专业知识,也能轻松上手.
  • 自动化程度高:能自动进行模型选择、超参数调优等繁琐的步骤,减少了人工干预,提高了建模效率.
  • 性能优异:即便在默认设置下,AutoGluon也能达到或超过许多手动调优的模型,其内置的先进超参数优化策略,如Bayesian Optimization和网格搜索,有助于找到最佳的模型配置.
  • 支持多种模型集成:可以集成多种机器学习与深度学习模型,包括线性回...

Read more

自动化机器学习


  1. 定义
  2. AutoML(Automated Machine Learning)即自动化机器学习,是一种将机器学习模型的选择、超参数优化和管道构建等过程自动化的技术。它的目的是让没有深厚机器学习专业知识的用户也能够轻松地应用机器学习来解决实际问题,同时提高机器学习应用开发的效率。

  3. 主要组成部分

  4. 模型选择自动化
    • AutoML系统能够根据数据的特点(如数据类型、数据量、数据分布等)自动筛选合适的机器学习模型。例如,对于结构化的数值数据且数据量较小的回归任务,它可能会优先考虑线性回归、决策树回归等简单模型;对于图像数据的分类任务,它会倾向于选择卷积神经网络(CNN)模型。
    • 这些系统通常会...

Read more

GPU


  1. 定义
  2. GPU(Graphics Processing Unit)即图形处理器,是一种专门用于处理图形和图像相关任务的电子芯片。它最初是为了加速计算机图形渲染,比如在视频游戏中快速生成逼真的3D场景和角色动画、在专业图形设计软件(如Adobe Photoshop、Autodesk 3ds Max)中高效处理图像特效和复杂的模型渲染等。

  3. 工作原理

  4. 高度并行架构:GPU拥有众多的处理核心(通常有成百上千个),相比CPU(中央处理器)的少数几个核心,这种架构使得GPU能够同时处理多个任务或数据片段。例如,在渲染一个包含数百万个三角形的3D模型时,GPU可以将这些三角形分配到各个核心上同...

Read more

AlexNet


  1. 定义与背景
  2. AlexNet是一种具有开创性意义的深度卷积神经网络(Convolutional Neural Network,CNN)架构。它在2012年的ImageNet大规模视觉识别挑战赛(ILSVRC)中取得了巨大的成功,显著降低了图像分类任务的错误率,推动了深度学习在计算机视觉领域的广泛应用。

  3. 网络架构特点

  4. 层数与结构
    • AlexNet包含8层,其中5个卷积层和3个全连接层。卷积层主要用于自动提取图像中的局部特征,例如边缘、纹理等。例如,第一个卷积层使用了96个大小为11×11、步长为4的卷积核,这一层可以快速捕捉图像中的大尺度特征。
    • 全连接层则用于将前面提取的特征进行整...

Read more