分类目录归档:Data-ONE

数据平台-功能架构


数据平台的功能架构是指从 业务需求和技术能力 出发,围绕数据的全生命周期(采集→存储→处理→分析→服务→治理)划分的核心功能模块及其交互关系。以下是一个典型的数据平台功能架构设计,涵盖关键功能模块及其实现逻辑:


1. 核心功能模块

(1) 数据集成与接入

  • 功能目标:支持 多源异构数据 的高效、稳定接入。
  • 子功能
  • 批量数据同步:定时抽取数据库、文件系统数据(Sqoop、Airbyte、AWS DMS)。
  • 实时数据采集:日志采集(Filebeat、Flume)、CDC变更捕获(Debezium)、消息队列(Kafka、Pulsar)。
  • API集成:对接第三方数据源(REST API、G...

Read more

数据平台-架构


数据平台架构是支撑企业数据采集、存储、处理、分析和应用的核心框架。一个高效的数据平台需要满足 高可用性、可扩展性、安全性灵活性 等要求。以下是一个典型的数据平台架构分层及其关键组件:


1. 数据平台分层架构

1.1 数据源层

  • 功能:整合多源异构数据,支持 结构化、半结构化、非结构化数据 的接入。
  • 常见数据源
  • 业务系统:ERP、CRM、交易系统等。
  • 日志与设备数据:服务器日志、IoT设备数据。
  • 外部数据:第三方API、公开数据集、社交媒体等。
  • 技术工具
  • 批量采集:Sqoop、FTP、文件传输。
  • 实时采集:Apache Kafka、Flume、Debezium(CDC)。
  • AP...

Read more

Alpha Vantage-金融市场数据API和电子表格数据服务-数据提供商-01027


Alpha Vantage是一家提供金融市场数据API和电子表格数据服务的公司,旨在为算法交易等场景提供数据支持。

  1. 数据服务:提供实时和历史的股票市场数据API,涵盖多种资产类别,包括股票、期权、外汇、加密货币等,还提供60多种技术和经济指标数据以及市场新闻API和市场情绪数据,覆盖全球市场。通过基于云的API、Excel和Google Sheets为企业提供全球市场数据。
  2. 知识资源:设有Alpha Academy,为投资者、量化研究人员、软件开发人员、学生和教育工作者等提供定量投资、机器学习、软件开发、区块链技术等方面的知识内容,由行业专家提供。
  3. 公司背景:获得知名的Y Combin...

Read more

雪球App-数据源-01090


雪球 是一款广受欢迎的投资理财应用,主要面向个人投资者,提供股票、基金、债券、期货等多资产类别的投资工具和资讯。通过雪球App,投资者可以获取股票行情、财务数据、投资资讯,还能与其他投资者互动交流,分享投资经验和策略。雪球不仅关注A股市场,还涵盖了港股、美股等国际市场,提供跨境投资服务。

雪球App 主要功能

  1. 股票和市场行情
  2. 提供实时的A股、港股、美股等主要市场的股票行情,支持股票的实时价格、涨跌幅、成交量、换手率等基本数据查看。
  3. 提供多种行情展示方式,如分时图、K线图、技术指标、资金流向、成交明细等,帮助用户进行深入分析。

  4. 个股分析与财务数据

  5. 提供个股的详细财务报表,包括...

Read more

qstock-人量化投研分析包-开源项目-数据提供商-01031


pypi

github

qstock 是一个用于股票数据获取和分析的 Python 库,它提供了一些方便的接口来获取股票行情、财务数据、新闻等信息。qstock 通常与其他数据处理和可视化库(如 Pandas、Matplotlib)结合使用,以便进行更深入的数据分析和可视化。

安装

首先,你需要安装 qstock。可以通过 pip 安装:

pip install qstock

主要功能

  1. 股票行情数据:获取股票的历史行情数据。
  2. 财务数据:获取公司的财务报表数据。
  3. 新闻和公告:获取与股票相关的新闻和公告。
  4. 股票池管理:管理自选股池,方便跟踪关注的股票。

示例代码

以下是一些常用的 q...

Read more

BaoStock-01002-数据提供商-开源


证券宝(www.baostock.com )是免费、开源的证券数据平台,通过Python API提供证券数据,以下是其详细介绍:

  1. 平台基本信息

    • 功能与适用人群:提供证券历史行情、上市公司财务等数据,满足量化交易投资者、数量金融爱好者等的数据需求。
    • 数据返回格式:以pandas DataFrame类型返回数据,便于用相关工具进行分析和可视化,也支持本地存储分析。
    • 支持语言:目前仅支持Python3.5或Python3.6及以上版本,暂不支持Python 2.x。
    • 联系方式:服务QQ群992516146用于发布维护、量化投资讨论;邮箱为baostock@163.com。
  2. 下载安装...

Read more

OpenBB-数据提供商-01040


OpenBB是一个人工智能驱动的研究和分析工作空间,具有以下特点和功能:

  1. 功能特性
    • 数据集成、可视化与分析:可在一处整合、可视化和分析数据,对个人免费,团队使用有优化。
    • OpenBB Copilot:作为智能助手,能解锁工作流程、提供见解并自动处理流程,可处理多种类型数据,还可按需查询特定小部件,支持使用自带的专有大语言模型(LLM)。
    • 灵活界面:轻松创建和组织图表、图形、表格、笔记、图像、PDF和网站,根据工作流程需求定制布局。
  2. 数据连接
    • 多种数据接入方式:支持上传结构化(如csv、json、xlsx)或非结构化(如PDF、PNG、JPG)文件,连接API端点、添加RSS源、网站...

Read more

Tushare-挖地兔-QMT-数据提供商-01026


官网

github

Tushare 是一个非常实用的开源软件包,主要用于财经数据的获取,尤其是中国股票市场的数据。以下是Tushare的一些主要功能和应用场景:

Tushare的主要功能:

  1. 获取历史交易数据:包括日线、周线、月线、5分钟、15分钟等多种时间粒度的数据。
  2. 行情数据:提供实时行情、申买卖五档等数据。
  3. 基本面数据:涵盖股票列表、业绩报告、盈利预告、业绩预告、基金持股、新股数据、分红数据等。
  4. 宏观经济数据:包括存款利率、贷款利率、GDP、工业增加值、社会消费品零售总额、价格指数等。
  5. 大盘指数数据:提供实时行情、历史行情、成份股等数据。
  6. 期货数据和期权数据

Tushare的应...

Read more