作者文章归档:course

数据集


数据集(Dataset)是指一组相关的数据集合,通常以结构化的形式组织,用于分析、训练模型或支持决策。数据集可以包含多种类型的数据,如文本、图像、音频、视频、数值等,具体取决于应用场景。

数据集的主要组成部分

  1. 数据样本(Samples):数据集中的每一条记录或实例。例如,在图像数据集中,每张图像就是一个样本。
  2. 特征(Features):描述样本的属性或变量。例如,在房价预测数据集中,特征可能包括房屋面积、房间数量、地理位置等。
  3. 标签(Labels):在监督学习中,标签是样本的目标值或类别。例如,在分类任务中,标签可能是“猫”或“狗”。
  4. 元数据(Metadata):描述数据集本身的信息,...

Read more

假设链


假设链是一种逻辑推理方法,通过一系列假设和推理步骤来得出结论。它通常用于解决复杂问题或探索不同可能性。以下是假设链的基本步骤:

  1. 提出假设:基于现有信息或问题,提出一个初步假设。
  2. 推理:根据假设,推导出可能的结论或结果。
  3. 验证:检查推理是否合理,是否有证据支持。
  4. 调整假设:如果推理不成立,调整或替换假设,重新开始推理过程。
  5. 得出结论:当推理合理且证据充分时,得出最终结论。

示例

问题:为什么某公司的销售额下降?

  1. 假设1:市场需求减少。
  2. 推理:如果市场需求减少,销售额可能下降。
  3. 验证:查看市场调研数据,发现需求稳定。
  4. 结论:假设1不成立。

  5. 假设2:竞争对手推出新产品。

  6. 推理:如...

Read more

在变化的输入分布下学习


“Learning on Shifting Input Distribution”(在变化的输入分布下学习)是机器学习领域中一个比较复杂且重要的概念。

一、背景和基本含义

在传统的机器学习设定中,我们通常假设训练数据和测试数据是来自相同的分布。然而,在实际情况中,数据的分布可能会发生变化。这种变化可能是由于多种因素导致的,比如: - 时间因素:以股票价格预测为例,市场环境在不同时期会发生变化。在经济繁荣时期和经济衰退时期,股票价格的分布(如价格范围、波动程度等)会明显不同。训练数据可能来自经济相对稳定时期,但在实际应用中,模型可能需要处理经济衰退时期的数据,这就涉及到输入分布的变化。 -...

Read more

小批量


在处理机器学习任务时,使用小批量(mini-batches)是一种非常常见的做法,尤其是在训练深度学习模型时。小批量训练将数据集分成较小的子集(即小批量),并在训练过程中迭代处理这些子集。相比于一次性处理整个数据集(批量梯度下降)或一次处理一个样本(随机梯度下降),小批量训练更加高效。以下是关于如何使用小批量训练的详细说明:


1. 为什么要使用小批量?

  • 效率:小批量可以利用向量化操作,更好地利用硬件资源(如GPU)。
  • 内存限制:一次性处理整个数据集可能会导致内存不足。
  • 梯度更新中的噪声:小批量引入了一定的噪声,有助于逃离局部最优并提高模型的泛化能力。
  • 更快的收敛速度:小批量梯度下降通...

Read more

RNN-视频文字


循环神经网络(RNN)原理详解

循环神经网络(Recurrent Neural Network,RNN)是一种专门用于处理序列数据的神经网络模型。与传统的前馈神经网络不同,RNN 具有记忆能力,能够捕捉序列数据中的时间依赖关系。它在自然语言处理、时间序列分析、语音识别等领域有着广泛的应用。本文将从 RNN 的基本原理、结构、优缺点以及应用场景等方面进行详细介绍。


1. RNN 的基本原理

RNN 的核心思想是利用循环结构来处理序列数据。序列数据的特点是数据点之间存在时间或顺序上的依赖关系,例如句子中的单词、时间序列中的观测值等。传统的前馈神经网络无法直接处理这种依赖关系,因为它们的输入...

Read more

通义大模型


通义大模型是阿里云自主研发的一系列大模型,以下是详细介绍:

模型体系

  • 通义千问:是通义大模型中的核心语言模型,能够在用户自然语言输入的基础上,通过自然语言理解和语义分析,在不同领域、任务内为用户提供服务和帮助,如创作文字、编写代码、语言翻译、角色扮演等。
  • 通义万相:文生图模型,支持中英文双语输入,重点风格包括水彩、油画、中国画、素描、扁平插画、二次元、3D卡通等。
  • 通义-VL:大规模视觉语言模型,支持各类视觉理解和推理任务,能处理各种分辨率和长宽比规格的图像,同时具备视频理解和多语言能力。
  • 通义-语音合成模型:名为CosyVoice,能将文本转为宛如真人的自然语音,支持流式输入文字与流...

Read more

CTA策略


CTA策略即商品交易顾问(Commodity Trading Advisors)策略,它主要是一种投资策略,在期货、期权等金融衍生品市场被广泛应用。

一、CTA策略的基本原理

  1. 趋势跟踪
  2. 这是CTA策略最常见的类型之一。它基于市场趋势会持续一段时间的假设。例如,在期货市场中,如果黄金价格呈现出明显的上升趋势,CTA策略会通过技术分析工具(如移动平均线)来识别这种趋势。当短期移动平均线向上穿过长期移动平均线时,这可能被视为一个买入信号。然后,只要趋势持续,策略就会持有多头仓位,以从价格的持续上涨中获利。
  3. 以股票指数期货为例,如果沪深300股指期货在过去一段时间内持续上涨,并且通过分析指标确...

Read more

解锁时间序列数据预测模型,预见未来趋势


解锁时间序列数据预测模型,预见未来趋势

一、时间序列数据与预测模型的魅力

在我们生活的这个数据驱动的时代,时间序列数据无处不在,它们就像隐藏在各个领域中的宝藏,等待我们去挖掘。在金融市场里,每日的股票价格波动,记录着市场的情绪与变化,投资者们试图从这些按时间顺序排列的数据中,寻找价格走势的规律,以便做出明智的投资决策。气象领域亦是如此,每月的降水量、气温变化等数据,对于气象学家预测未来天气、防范自然灾害起着关键作用。还有销售行业,每季度的产品销售额数据,能够帮助企业分析市场需求的变化趋势,合理安排生产与库存。

而时间序列预测模型,正是开启这些宝藏大门的钥匙。它能够从历史数据中发现规律,并...

Read more

时间序列预测模型-视频文字


时间序列预测模型是用于分析和预测时间序列数据的统计或机器学习模型。时间序列数据是按时间顺序排列的数据点序列,常见于金融、气象、销售等领域。以下是几种常用的时间序列预测模型:

1. 传统统计模型

  • ARIMA (自回归积分滑动平均模型)
    • ARIMA 是一种经典的时间序列预测模型,适用于线性数据。它结合了自回归 (AR)、差分 (I) 和移动平均 (MA) 三个部分。
    • 公式:ARIMA(p, d, q),其中 p 是自回归阶数,d 是差分阶数,q 是移动平均阶数。
  • SARIMA (季节性 ARIMA)
    • SARIMA 是 ARIMA 的扩展,适用于具有季节性特征的时间序列数据。
    • 公式:SA...

Read more

命令行添加白名单-后端模块-ONE


如果你使用的是 MongoDB 的命令行工具(Mongo Shell),可以按照以下步骤添加一条新记录:

实现代码:

use stock_database;
db.whitelist_emails.insertOne({
    email: 'newuser@example.com',
    description: '新用户的邮箱',
    created_at: new Date().toISOString()
});

代码解释: - use stock_database;:这条命令将当前操作的数据库切换为 stock_database。 -...

Read more