作者文章归档:course

特征角度评估


特征角度评估 是在 AI 赋能前对数据的特征进行详细分析和评估的过程。特征(或变量)在机器学习模型中的作用至关重要,因为它们直接影响模型的性能、准确性和可解释性。特征角度评估的目的是确保所选特征能够为模型提供足够的信息,以帮助其有效地进行预测或分类,同时避免不必要的复杂性或误导性特征。

特征角度的评估通常包括以下几个方面:

1. 特征的相关性分析

评估特征与目标变量(标签)之间的关系是特征选择的关键步骤。以下是相关性分析的常用方法:

1.1 相关性系数(Correlation Coefficient)

  • Pearson 相关系数:用于度量两个连续变量之间的线性相关性,范围从 -1(完全负...

Read more

epoch-AI


在机器学习和深度学习中,epoch(周期)指的是训练数据集通过神经网络一次的过程。在每一个epoch中,模型会遍历整个训练数据集,并且进行前向传播和反向传播以更新模型的参数。通常在深度学习中,epoch的数量是一个超参数,决定了模型训练的次数。

详细解释:

  • 一次epoch:模型对训练数据的所有样本都进行了学习、前向传播、反向传播并更新了参数。假设你有1000个样本,并且批次大小(batch size)是100,那么每次训练过程会分为10个小批次(1000 / 100 = 10),每一个小批次会经过一次前向传播和反向传播,所有的小批次处理完后,这就构成了1个epoch。

  • 多次epo...

Read more

Finnhub-金融市场数据的 API


Finnhub-github 是一个提供实时和历史股票、外汇、加密货币等金融市场数据的 API。它提供了多种金融数据服务,包括:

  • 股票市场数据:实时报价、历史数据、新闻等,覆盖全球主要交易所。
  • 基本面数据:上市公司财务报表、盈利数据、分红等。
  • 新闻与情绪分析:提供股票相关的新闻及其情绪分析。
  • 经济日历:提供实时的经济事件和其对市场的影响。
  • 替代数据:例如内幕交易、社交情绪等数据。

Finnhub API 的关键特性:

  1. 实时股票数据:获取股票的实时报价和历史数据。
  2. 新闻:按股票代码获取相关新闻及其情绪分析。
  3. 经济日历:追踪经济事件及其对市场的潜在影响。
  4. 替代数据:提供内幕交易、社交媒...

Read more

Word2Vec-NLP


Word2Vec 是一个由 Google 提出的词嵌入(Word Embedding)方法,它使用神经网络模型将单词映射到一个固定大小的稠密向量空间中,向量之间的距离反映了词汇的语义相似性。Word2Vec 通过大量的文本数据训练,捕捉了单词之间的语义关系,使得相似的单词在向量空间中也非常接近。

1. Word2Vec 模型原理

Word2Vec 的核心思想是通过上下文信息来学习单词的表示,它主要有两种训练方法: - CBOW(Continuous Bag of Words):给定上下文单词,预测目标单词。 - Skip-Gram:给定目标单词,预测上下文单词。

这两种方法都是基于类似的...

Read more

黑箱角度评估


黑箱角度评估 是在AI赋能前,从“模型的可解释性”和“透明度”角度出发,评估所使用的机器学习或深度学习模型是否容易理解和解释。许多复杂的AI模型,尤其是深度神经网络、集成学习等,常常被称为“黑箱”模型,因为它们的内部机制较难被直观理解。黑箱评估关注的是模型是否能够提供足够的透明度和可解释性,以便于业务人员、数据科学家、监管机构以及其他相关方了解模型的决策过程和预测结果。

黑箱角度评估通常包括以下几个方面:

1. 模型可解释性评估

模型可解释性 是指能够清楚地理解模型的工作原理、输入和输出之间的关系以及模型为何做出某个预测。评估可解释性时,通常要考虑以下因素:

1.1 模型的透明度

  • 算法...

Read more

学习角度评估


学习角度评估 是在AI赋能前对模型训练和学习过程的准备、评估和优化。它从机器学习算法和训练策略的角度,确保所选择的学习方法能够有效地从数据中学习出有价值的信息。学习角度评估通常涉及算法选择、训练过程的配置、过拟合与欠拟合的控制、学习率调优、模型验证和评估等方面。以下是对学习角度评估的详细分析:

1. 学习算法评估

选择适合的学习算法是确保模型成功的关键步骤。不同的学习任务(分类、回归、聚类、生成等)需要采用不同的算法。学习算法的评估包括以下几个方面:

1.1 算法适配性

  • 任务类型:根据任务的类型(如分类、回归、聚类等),选择适合的算法。例如,支持向量机(SVM)通常用于分类任务,随机森...

Read more