分类目录归档:自研课程

DeepAR-时间序列预测模型-03003-V01


DeepAR:面向未来的智能时间序列预测引擎

在当今数据驱动的世界中,时间序列预测扮演着关键角色:零售商需要精准预测商品需求以优化库存,能源公司必须预判电力负荷来平衡电网,金融机构则依靠股价预测规避风险。然而,面对复杂多变、具有季节性和不确定性的真实数据,传统方法常显得力不从心。亚马逊科学家团队开发的DeepAR模型,正是为解决这些挑战而生,它融合了深度学习的力量与概率思维,显著提升了预测的准确性与实用性。

一、 DeepAR是什么?超越点预测的智能框架

DeepAR 本质上是一种基于深度学习的概率时间序列预测模型。其核心突破在于摒弃了传统模型仅输出单一“点预测值”的局限(如“明天销量预...

Read more

N-BEATS-时间序列预测模型-03002


N-BEATS:面向时间序列预测的纯深度学习模型

在时间序列预测领域,N-BEATS(Neural Basis Expansion Analysis for Time Series)模型于2019年由Element AI的研究团队提出,以其独特的纯深度学习架构优异的预测性能良好的可解释性,迅速成为该领域的明星模型。它摒弃了传统模型中的复杂特征工程或特定领域知识依赖,仅使用全连接层(MLP)构建,展现了深度神经网络在时间序列预测中的强大潜力。

核心设计理念与创新

  1. 完全深度学习架构:

    • N-BEATS 彻底摆脱了传统时间序列模型(如 ARIMA、指数平滑)或混合模型(如结合 LSTM...

Read more

TimesFM-时间序列预测-03001


以下是关于谷歌时间序列预测基础模型 TimesFM 的详细介绍,基于搜索结果的综合分析:


1. 模型概述

TimesFM 是谷歌研发的专为时间序列预测设计的 仅解码器(decoder-only)基础模型,参数规模为 2亿(200M),在包含 1000亿个真实世界时间点 的多样化数据集上预训练而成。其核心目标是通过大规模预训练实现 零样本(zero-shot)预测,即在无需微调的情况下直接应用于新任务,性能媲美甚至超越传统监督学习方法。


2. 核心架构与创新

架构设计

  • 分块(Patch)处理:将时间序列分割为连续的非重叠块(如32个时间点为一个输入块),每个块通过残差块转换为向量,并...

Read more

Airflow-Provider-自研课程-0101004


在Apache Airflow中,Provider是用于扩展Airflow功能的插件包。它们包含与特定服务或系统交互所需的操作符(Operators)、钩子(Hooks)、传感器(Sensors)等组件。通过安装和使用这些Provider包,您可以方便地在工作流中集成各种外部服务,如数据库、云平台、消息队列等。

例如,如果您需要在Airflow中连接并操作MySQL数据库,您可以安装与MySQL相关的Provider包。该包提供了连接MySQL所需的钩子和操作符,使您能够在工作流中执行数据库操作。

需要注意的是,不同的数据库或服务需要安装对应的Provider包,以确保Airflow...

Read more

查看 Airflow 中 DAG 运行的详细日志-自研课程-0101002


要查看 Apache Airflow 中 DAG 运行的详细日志,您可以通过以下几种方式进行:

  1. 通过 Airflow Web 界面查看任务日志:

  2. 打开 Airflow Web 界面(默认地址为 http://localhost:8080)。

  3. 在“DAGs”视图中,找到并点击您感兴趣的 DAG。
  4. 在 DAG 的“树状图”或“图形”视图中,点击特定任务实例。
  5. 在弹出的窗口中,切换到“日志”标签页,即可查看该任务的详细运行日志。

  6. 直接访问日志文件:

Airflow 将任务日志保存在本地文件系统中,默认路径为 AIRFLOW_HOME/logs。您可以直接访问这些日...

Read more

Airflow 中编写第一个 DAG-自研课程-0101001


要在 Apache Airflow 中编写第一个 DAG(有向无环图),您可以按照以下步骤进行:

  1. 创建 DAG 文件:在 Airflow 的 dags 目录下创建一个 Python 文件,例如 hello_world_dag.py。如果 dags 目录尚不存在,请先创建该目录。

  2. 导入必要的模块:在 DAG 文件中,导入 DAG 类和所需的操作符(Operator),例如 PythonOperatorBashOperator,以及日期时间模块。

python from airflow import DAG from airflow.operators.p...

Read more

玻尔兹曼机概述


探秘玻尔兹曼机:解锁人工智能的“能量密码”

从统计物理到 AI:玻尔兹曼机的诞生

在科学的广袤版图中,不同学科之间常常存在着奇妙的联系,就像隐藏在宇宙深处的暗线,将看似分离的知识领域悄然连接。统计物理学与人工智能领域的交融,便是这样一段引人入胜的故事,而玻尔兹曼机,正是这段故事中一颗璀璨的明珠。

统计物理学,作为物理学的一个重要分支,主要研究大量微观粒子组成的宏观系统的性质和行为。在这个领域中,玻尔兹曼分布占据着举足轻重的地位。它描述了处于热平衡状态下,粒子在不同能量状态下的概率分布情况,其核心思想在于,系统更倾向于处于能量较低的状态,且温度对粒子的分布有着关键影响。简单来说,就如同在一...

Read more

机器学习超参数:从理论到实践的核心探索



机器学习超参数:从理论到实践的核心探索

一、引言

在构建机器学习模型的过程中,数据、算法与超参数如同“铁三角”,共同决定了模型的最终性能。其中,超参数调优往往是最容易被低估却至关重要的环节。一个优秀的模型架构可能因不当的超参数选择而表现平庸,而简单的算法搭配精细调参却可能实现惊人效果。本文将从基础概念切入,系统解析超参数的优化方法论、实用技巧及前沿趋势,为从业者提供一份兼顾理论与实践的调参指南。


二、超参数基础概念

1. 定义与作用

超参数(Hyperparameters)是模型训练前预设的配置参数,与模型通过数据自动学习的参数(如线性回归的权重)有本质区别。例如,在训练神经网络时,...

Read more

Cot概述


CoT:开启人工智能推理新时代

从 “黑箱” 到透明:CoT 是什么

在人工智能飞速发展的当下,大语言模型(LLM)已成为自然语言处理领域的核心力量。它们能够生成流畅的文本、回答复杂的问题,甚至进行创造性写作,展现出令人惊叹的语言能力。然而,传统大语言模型在处理问题时,就像一个神秘的 “黑箱”。以 GPT-3 为例,当你向它提出一个问题,它会迅速给出答案,但却无法清晰展示得出这个答案的具体思考过程。这种缺乏透明度的决策机制,使得用户难以理解答案的来源和可靠性,也限制了模型在一些对推理过程要求严格的领域中的应用。

直到 2022 年,谷歌研究人员在《Chain-of-Thought Pro...

Read more