分类目录归档:产品研发

LightGBM-


LightGBM是一个使用基于树的学习算法的梯度提升框架,具有分布式和高效的特点,以下是对其优点的详细介绍:

更快的训练速度和更高的效率

  • 基于直方图的算法:LightGBM采用直方图算法来构建决策树,它将连续的浮点特征值离散化成整数,并构造相应的直方图。在遍历数据时,根据离散化后的值在直方图中累积统计量,然后根据这些统计量来寻找最优的分割点。相比传统的预排序算法,直方图算法大大减少了计算量和内存消耗,从而提高了训练速度.
  • 单边梯度采样(GOSS):GOSS根据信息增益的定义,认为具有较大梯度的数据样本对信息增益的贡献更大。因此,在对数据样本进行下采样时,会保留梯度大的样本,并随机丢弃梯...

Read more

scikit-learn


scikit-learn(通常简称为 sklearn)是一个用于机器学习的Python开源库,它功能强大、应用广泛,以下是关于它的详细介绍:

概述

  • sklearn 提供了丰富的机器学习算法、工具和实用程序,旨在简化机器学习任务的实现过程,无论是分类、回归、聚类还是降维等不同类型的任务,都能借助该库高效完成,并且其设计注重代码的简洁性、易用性以及高效性,被大量数据科学家、分析师以及机器学习爱好者广泛使用。

功能模块

  • 分类算法
    • 支持向量机(SVM):通过寻找一个最优的超平面,将不同类别的数据点尽可能地分开,有线性可分和非线性可分(通过核技巧,如高斯核等将数据映射到高维空间使其线性可分...

Read more

qstock


pypi

github

qstock 是一个用于股票数据获取和分析的 Python 库,它提供了一些方便的接口来获取股票行情、财务数据、新闻等信息。qstock 通常与其他数据处理和可视化库(如 Pandas、Matplotlib)结合使用,以便进行更深入的数据分析和可视化。

安装

首先,你需要安装 qstock。可以通过 pip 安装:

pip install qstock

主要功能

  1. 股票行情数据:获取股票的历史行情数据。
  2. 财务数据:获取公司的财务报表数据。
  3. 新闻和公告:获取与股票相关的新闻和公告。
  4. 股票池管理:管理自选股池,方便跟踪关注的股票。

示例代码

以下是一些常用的 q...

Read more

pyportfolioopt-投资组合


文档

pyportfolioopt 是一个用于投资组合优化的 Python 库,它提供了多种优化方法和工具,帮助投资者构建和优化投资组合。这个库基于现代投资组合理论,支持多种资产配置策略,包括均值-方差优化、风险平价、最小方差组合等。

主要功能

  1. 数据获取:从 Yahoo Finance 等数据源获取股票历史数据。
  2. 预期收益和协方差矩阵估计:计算资产的预期收益和协方差矩阵。
  3. 投资组合优化:实现多种优化方法,如均值-方差优化、最小方差组合、最大夏普比率组合等。
  4. 风险模型:支持多种风险模型,如单因素模型、多因素模型等。
  5. 绩效评估:提供绩效评估工具,如夏普比率、信息比率等。

安装

你可以使用...

Read more

findpeaks-查找峰值


scipy.signal.find_peaks 是 SciPy 信号处理库中的一个函数,用于在数据序列中查找峰值(即局部最大值)。这个函数非常有用,特别是在处理时间序列数据、频谱分析和其他需要识别数据中显著特征的场景中。

函数签名

scipy.signal.find_peaks(x, height=None, threshold=None, distance=None, prominence=None, width=None, wlen=None, rel_height=0.5, plateau_size=None)

参数说明

  • x (array_like): 输入数据序列。
  • hei...

Read more

Statsmodels-统计模型库


Statsmodels是一个Python模块,具备以下诸多功能:

功能概述

  • 统计模型估计:提供了用于估计多种不同统计模型的类和函数。无论是常见的线性回归模型、时间序列分析模型(如ARIMA等),还是其他各类复杂的统计模型,都能借助statsmodels中的相关工具进行参数估计等操作,从而帮助用户构建合适的统计模型以拟合数据并进行分析。
  • 统计检验执行:可以开展各种统计检验。比如检验两个变量之间是否存在显著的线性关系(通过t检验等),或者检验一组数据是否符合某种特定的分布(如正态分布检验等)。这些统计检验对于验证假设、评估模型的合理性等方面起着至关重要的作用。
  • 统计数据探索:支持对统计数据...

Read more

scipy


官网

github

scipy 是一个用于科学计算的 Python 库,建立在 NumPy 之上,提供了大量的数学、科学和工程计算工具。scipy 包含了许多子模块,每个子模块都专注于特定类型的科学计算任务。以下是一些主要的子模块及其功能:

主要子模块

  1. scipy.integrate:数值积分和微分方程求解。
  2. quad:定积分计算。
  3. odeint:常微分方程(ODE)求解。
  4. solve_ivp:常微分方程初值问题求解。

  5. scipy.optimize:优化和拟合。

  6. minimize:最小化标量函数。
  7. root:求解非线性方程组。
  8. curve_fit:非线性最小二乘拟合。

  9. s...

Read more

数据生态系统-Python


数据生态系统是指围绕数据管理和分析的一系列工具、技术和方法的集合。在Python编程语言中,有一个非常成熟和广泛使用的数据生态系统,它涵盖了从数据获取、清洗、处理、分析到可视化的各个环节。以下是一些主要的组件和库:

1. 数据获取

  • Requests:用于发送HTTP请求,从Web API获取数据。
  • BeautifulSouplxml:用于解析HTML和XML文档,从网页中提取数据。
  • Scrapy:一个强大的网络爬虫框架,适用于大规模的数据抓取任务。

2. 数据存储

  • SQLite:轻量级的关系型数据库,适合小型项目。
  • Pandas:提供DataFrame和Series数据结构,...

Read more