构建机器学习应用-V2
评论
256 views
作者文章归档：course
大数据平台架构分层概述
评论
329 views
大数据时代，平台架构为何至关重要？
在信息技术飞速发展的当下，我们已然步入了大数据时代。随着互联网、物联网、移动互联网等技术的广泛普及，数据以前所未有的速度和规模不断涌现。社交媒体上的每一次点赞、评论与分享，电商平台上的每一笔交易记录，物联网设备源源不断传输的数据，都如同涓涓细流，汇聚成了浩瀚的数据海洋。据国际数据公司（IDC）预测，全球每年产生的数据量将从 2018 年的 33ZB 增长到 2025 年的 175ZB，数据量的增长可谓是呈指数级爆发。
这些海量的数据蕴含着巨大的价值，成为了企业在激烈市场竞争中脱颖而出的关键资源。通过对市场数据和消费者行为数据的深入分析，企业能够精准洞察...
AkShare-架构分析
评论
265 views
AkShare是一个基于Python的开源金融数据接口库，其架构主要包括数据采集层、数据处理层、数据存储层和API接口层，以下是对AkShare架构的详细介绍：
数据采集层
- 网络请求模块：利用Python的
requests等网络请求库，向各类金融数据网站、第三方数据接口等发送HTTP请求，获取网页数据、JSON数据、XML数据等。例如，从新浪财经、东方财富等网站获取股票行情数据。 - 数据抓取技术：采用
BeautifulSoup、lxml等网页解析库，对获取到的网页内容进行解析，提取出所需的金融数据。对于一些动态加载的网页，还会使用Selenium等自动化测试工具，模拟浏览器操作，获取完整...
回测框架-开源项目
评论
555 views
对于中国A股市场，许多开源项目主要面向美国市场或全球市场，因此在直接支持中国A股的数据源和工具上存在一些差异。不过，仍有一些开源项目可以通过与中国A股数据源（如Tushare、AkShare等）的集成，或者通过自定义数据获取模块来满足需求。以下是一些与中国A股匹配度较高的开源项目及其特点：
1. Backtrader
- 简介：Backtrader 是一个强大的回测框架，虽然主要设计用于全球市场，但它具有很好的灵活性，可以通过自定义数据源适配中国A股。
- 与A股匹配的特性：
- 可以使用 Tushare 或 AkShare 提供的中国A股数据源来获取历史和实时数据。
- 支持自定义策略、回测，并能与...
开源量化交易平台-开源项目
评论
270 views
从多个数据源获取金融数据、进行处理、存储和展示，尤其适用于构建聚合多个金融开源数据源的系统。以下是一些值得关注的项目：
1. Backtrader
- 简介：Backtrader 是一个功能强大的开源量化交易框架，支持多种数据源集成（如Yahoo Finance、Interactive Brokers、Alpaca等），并且具有回测、策略开发、执行、风险管理等功能。它的一个重要特点是支持从多个数据源获取历史数据，并能进行统一的数据处理和回测。
- 特点：
- 支持多种数据源（如股票、期货、外汇等）。
- 强大的回测引擎和策略开发支持。
- 可与现有交易所集成，执行实时交易。
- 支持数据清洗、处理与可视化。 ...
多数据源聚合架构-数据架构-ONE
评论
209 views
构建一个聚合多个金融开源数据源的架构方案，关键是如何有效地从多个数据源获取数据、进行处理和存储，同时保证数据的准确性、实时性和可扩展性。以下是一个高层次的架构方案，您可以根据需求进行调整：
1. 数据源集成层
集成多个金融数据源可以通过以下几种方式： - API集成：许多开源或免费金融数据源提供API访问，比如Yahoo Finance、Alpha Vantage、Quandl、IEX Cloud等。通过API调用实时或历史数据。 - Web Scraping：对于没有开放API的数据源，可以使用爬虫工具抓取数据（如BeautifulSoup、Selenium）。 - 文件导入：一些数据...
数据源层-数据架构-ONE
评论
290 views
如果你关注中国A股的数据获取，这里有一些适合获取A股数据的开源项目和API：
1. TuShare
- 官网: TuShare
- GitHub: tushare GitHub
TuShare是一个非常流行的中国股票数据接口，提供免费的A股历史数据、实时数据、财务数据、财经新闻等。你可以通过TuShare获取包括日线、周线、月线等不同周期的数据。对于一些高级功能，TuShare也提供了收费服务。
使用示例：
python
import tushare as ts
ts.set_token('your_token') # 设置你的API Token
pro = ts...
OpenData-数据提取工具仓库
评论
220 views
OpenData 是一个开源的数据提取工具仓库，专注于从各类网站爬取数据，并提供简单易用的 API 以供使用。以下是该仓库的详细介绍：
1. 最近更新
在 2019 - 10 - 10 进行了更新，修正了一些 issue 中的问题，包括：
- 选股宝主题名称问题
- 经济数据 pmi 获取失败的问题
- 全球指数获取失败的问题
- 私募基金数据获取失败的问题
2. 安装
该工具仅支持 python3，需要安装 python3.6 以上版本，且没有支持 python2 的计划。提供了两种安装方式：
- 从 pypi 上安装：使用
pip install opendatatools命令进行安装。 - 下载源...
agentUniverse-基于大语言模型的多智能体框架
评论
333 views
agentUniverse 是一个基于大语言模型的多智能体框架的仓库，以下是对该仓库的详细介绍：
基本信息
- 语言版本：提供多种语言版本的文档，包括英语、中文、日语。
- 技术栈：基于Python 3.10及以上版本开发。
- 开源协议：采用 Apache-2.0 开源协议。
- PyPI版本：当前版本为 v0.0.13。
项目概述
agentUniverse 是一个多智能体框架，核心是丰富的多智能体协作模式组件（作为协作模式工厂），其主要功能和特点如下：
- 灵活可扩展：提供灵活且易于扩展的能力，用于构建单个智能体。
- 多智能体协作：允许智能体在解决不同领域的问题时各司其职，充分发挥其能力。
...
datacamp-数据与人工智能-在线教育平台
评论
182 views
该网页链接为https://www.datacamp.com/onboarding/interstitial?redirect=%2Fonboarding ，从链接推测：
- “datacamp”表明其很可能与数据相关学习平台DataCamp有关。“onboarding”通常指新用户引导流程，可能用于帮助新用户熟悉DataCamp平台的功能、课程体系等。
- “interstitial”一般表示插页、 interstitial页面，这种页面常用来展示重要提示、引导信息等，可能在此用于在新用户引导过程中，插入关键的说明或引导内容。
- “redirect=%2Fonboarding”表示重定向到“/...