李沐-深度学习-在线课程官网


动手学深度学习在线课程

官网

github

这是动手学深度学习在线课程的相关介绍,课程于2021年3月20日开始,预计7月结束,内容涵盖深度学习基础、卷积神经网络、计算机视觉、循环神经网络、自然语言处理等方面,具有以下特点:

  1. 课程背景与特点

  2. 背景:深度学习发展迅速但模型复杂,本课程从零开始教授,只需基础Python编程和数学知识。

  3. 特点:讲述模型算法同时用PyTorch实现细节,含四次课程竞赛,内容紧靠《动手学深度学习》第二版,被近200所大学采用。

  4. 讲师与参与方式

  5. 讲师:AWS资深首席科学家、美国卡内基梅隆大学计算机系博士李沐。

  6. 参与方式:无需注册或缴费,直播时间为北京时间每周六、日下午1:00 - 2:30,直播地址在机器之心,视频回放于B站,教材为zh - v2.d2l.ai。

  7. 课程安排

  8. 深度学习基础(3 - 4月):介绍深度学习概念,涉及安装、数据操作与预处理、线性代数、自动求导、线性回归、Softmax回归、感知机、多层感知机、模型选择、权重衰减、Dropout、数值稳定性、模型初始化和激活函数等内容,并进行预测房价竞赛,含相关知识点的从零开始和简洁实现,部分时间休课。

  9. 卷积神经网络(4 - 5月):包含模型构造、参数管理、自定义层、读写文件、GPU相关内容,从全连接层到卷积、图像卷积、填充和步幅、多输入多输出通道、池化层、多种卷积神经网络结构(LeNet、AlexNet、VGG、NiN、GoogLeNet)、批量归一化、残差网络,进行图片分类竞赛,期间有多次休课。
  10. 计算机视觉(6 - 7月):介绍硬件(CPU和GPU、专有硬件)、多GPU训练(含实现与分布式训练)、图像增广、微调,进行多个实战Kaggle比赛(图像分类、狗的品种识别)、物体检测(相关概念与多种检测方法实现)、语义分割(数据集、转置卷积、全连接卷积神经网络、样式迁移),最后进行目标检测竞赛总结。
  11. 循环神经网络与自然语言处理(7 - 8月):涉及序列模型、文本预处理、语言模型和数据集、循环神经网络(多种类型及实现)、机器翻译与数据集、编码器 - 解码器结构、序列到序列学习、束搜索、注意力机制(含多种类型及相关应用)、优化算法,最后进行课程总结和进阶学习,期间有休课安排。