作者文章归档：course
GPT（Generative Pre-trained Transformer）是一种由OpenAI开发的深度学习架构，主要用于自然语言处理（NLP）任务。GPT架构基于Transformer模型，该模型在2017年提出，最初用于机器翻译任务，但后来被广泛应用于各种NLP任务中。
Transfor...
在日常生活中，我们无时无刻不在做决策。想象一下，你清晨醒来，手机闹钟根据你前一晚的睡眠质量和今日日程，贴心地调整响铃时间；上班路上，导航软件实时规划避开拥堵的最优路线；甚至家中的智能扫地机器人，也能巧妙地穿梭于各个房间，高效完成清洁任务。这些看似平常的场景背后，其实都隐藏着一项强大的技术 —— 强化学习。
强化学习，英文名为 Reinforcement Learning，简称 RL，它宛如一位幕后的智能军师，默默引导着各类智能体在复杂多变的环境中做出最佳抉择。与传统的机器学习方法不同，强化学习并非依赖大量预先标注的数据进...
开启强化学习的智慧之门
在日常生活中，我们无时无刻不在做决策。想象一下，你清晨醒来，手机闹钟根据你前一晚的睡眠质量和今日日程，贴心地调整响铃时间；上班路上，导航软件实时规划避开拥堵的最优路线；甚至家中的智能扫地机器人，也能巧妙地穿梭于各个房间，高效完成清洁任务。这些看似平常的场景背后，其实都隐藏着一项强大的技术 —— 强化学习。 强化学习，英文名为 Reinforcement Learning，简称 RL，它宛如一位幕后的智能军师，默默引导着各类智能体在复杂多变的环境中做出最佳抉择。与传统的机器学习方法不同，强化学习并非依赖大量预先标注的数据进行学习，而是通过智能体自主地与环境互动，在不...
强化学习（Reinforcement Learning，RL）是一种机器学习的方法，它通过让智能体（agent）在与环境的交互中学习如何进行决策，以最大化某种累积奖励（reward）。强化学习的核心思想是试错学习，即智能体通过不断尝试不同的动作（action），并根据环境给予的反馈（奖励或惩罚）来调整其行为策略，从而逐步学会在不同状态下选择最优的动作。
BERT（Bidirectional Encoder Representations from Transformers）的预训练过程是其能够在众多自然语言处理任务中取得优异性能的关键。主要包括以下两个阶段：
1. 无监督预训练阶段
数据准备
一、强化学习初印象
（一）核心概念 “大起底” 为了更深入地理解强化学习，我们先来剖析一下它的几个核心概念。 智能体（Agent），它就像是强化学习世界里的主角，是在环境中执行动作并学习的实体。在自动驾驶场景中，汽车就是智能体；在机器人控制领域，机器人便是智能体；而在超级玛丽游戏里，玛丽就是那个灵动的智能体。智能体的使命，便是依据环境所呈现的状态，明智地抉择下一步行动，从而达成某个特定目标。 环境（Environment），即智能体所处的外部世界，它涵盖了智能体能够感知的状态以及可以执行的动作。环境既可以是现实世界中的物理场景，如城市道路、工厂车间；也可以是虚拟构建的数字空间，像电脑游戏...
读书摘要
《深度学习与机器人》这本书主要探讨了深度学习在机器人领域的应用。书中通过多个实际案例和技术分析，展示了如何利用深度学习算法和技术来提升机器人的性能和功能。
在基础部分，介绍了深度学习和机器人的基本概念，包括神经网络、深度学习算法等基础知识，以及机器人的结构和工作原理，为后续深入探讨两者的结合打下基础。
书中详细阐述了深度学习在机器人感知方面的应用，例如利用深度学习进行图像识别、目标检测和环境感知，使机器人能够更好地理解周围环境，进而做出准确的决策和行动。
在机器人控制方面，讲解了如何通过深度学习算法来优化机器人的运动控制，提高机器人的操作精度和效率。例如，通过训练神经网络来实现...
读书摘要
《基于机器学习的数据分析方法》这本书系统地介绍了机器学习在数据分析中的应用方法。
书中首先在第1章阐述了机器学习基础，包括机器学习的基本概念，如什么是机器学习，以及机器学习中的模型、策略和算法等要素，还介绍了机器学习的分类，如监督学习、无监督学习、半监督学习和强化学习，并对回归模型的发展现状进行了概述。
第2章详细讲解了基于正则化方法的回归模型，包括正则化方法的基本原理，基于最小二乘估计的正则化方法，如岭回归、Lasso估计等，还涉及自适应Lasso、SCAD估计、弹性网络回归等方法，以及鲁棒（稳健）正则化方法。
第3章聚焦于自加权鲁棒正则化方法，介绍了自加权鲁棒方法的原理，基...
读书摘要
《人人可懂的深度学习》这本书旨在以通俗易懂的方式向读者介绍深度学习的相关知识。
书中首先在第1章对深度学习进行了概述，阐述了人工智能、机器学习和深度学习之间的关系，解释了机器学习的难点和关键要素，以及有监督学习、无监督学习和强化学习的区别，并分析了深度学习成功的原因。
第2章介绍了预备知识，包括什么是数学模型、含有多个输入的线性模型、线性模型的参数设置，以及如何从数据中学习模型和模型组合等内容，为后续深度学习的学习打下基础。
第3章深入讲解神经网络，作为深度学习的基石，详细阐述了人工神经网络如何处理信息，为何需要激活函数，以及神经元参数变化如何影响神经元行为，并提到了使用GPU...
读书摘要
《机器学习：大数据平台的构建、任务实现与数据治理——使用Azure、DevOps、MLOps》是一本全面介绍如何在Azure平台上利用DevOps和MLOps进行机器学习实践的书籍。
书中从基础知识入手，详细介绍了数据工程的相关概念，包括数据平台的构成、基础设施即代码等内容。接着阐述了在Azure平台上的数据存储，如跨多个数据织物存储数据、使用SSOT等。
在数据处理章节，讲解了数据建模技术、数据仓库等内容，帮助读者理解如何对数据进行处理和管理。编排部分则介绍了如何引入Azure Machine Learning，以及进行编排操作。
机器学习章节深入探讨了如何训练一个机器学习模...