机器学习实战-基于Scikit-Learn,Keras和TensorFlow
机器学习的基础知识
机器学习概览
什么是机器学习
为什么要使用机器学习
应用示例
机器学习系统的类型
机器学习的主要挑战
测试和验证
端到端机器学习项目
使用真实数据
放眼大局
获取数据
探索和可视化数据以获得见解
为机器学习算法准备数据
选择和训练模型
微调模型
启动,监控和维护系统
分类
MNIST
训练二元分类器
性能测量
多类分类
错误分析
多标签分类
多输出分类
训练模型
线性回归
梯度下降
多项式回归
学习曲线
正则化线性模型
逻辑回归
支持向量机
线性SVM分类
非线性SVM分类
SVM回归
线性SVM 分类器的工作原理
对偶问题
决策树
训练和可视化决策树
做出预...
TensorFlow速查手册
构建机器学习应用-V2
让机器学习要找对方法
从产品目标到机器学习框架
制定方案
建成可用的流水线
搭建你的首条端到端流水线
获取初始数据集
模型迭代
训练和评估模型
调试机器学习模型
用分类器生成写作建议
部署与监控
部署模型的注意事项
选择部署方案
搭建模型防护罩
监控和更新模型
大数据平台架构分层概述
大数据时代,平台架构为何至关重要?
在信息技术飞速发展的当下,我们已然步入了大数据时代。随着互联网、物联网、移动互联网等技术的广泛普及,数据以前所未有的速度和规模不断涌现。社交媒体上的每一次点赞、评论与分享,电商平台上的每一笔交易记录,物联网设备源源不断传输的数据,都如同涓涓细流,汇聚成了浩瀚的数据海洋。据国际数据公司(IDC)预测,全球每年产生的数据量将从 2018 年的 33ZB 增长到 2025 年的 175ZB,数据量的增长可谓是呈指数级爆发。
这些海量的数据蕴含着巨大的价值,成为了企业在激烈市场竞争中脱颖而出的关键资源。通过对市场数据和消费者行为数据的深入分析,企业能够精准洞察...
AkShare-架构分析
AkShare是一个基于Python的开源金融数据接口库,其架构主要包括数据采集层、数据处理层、数据存储层和API接口层,以下是对AkShare架构的详细介绍:
数据采集层
- 网络请求模块:利用Python的
requests
等网络请求库,向各类金融数据网站、第三方数据接口等发送HTTP请求,获取网页数据、JSON数据、XML数据等。例如,从新浪财经、东方财富等网站获取股票行情数据。 - 数据抓取技术:采用
BeautifulSoup
、lxml
等网页解析库,对获取到的网页内容进行解析,提取出所需的金融数据。对于一些动态加载的网页,还会使用Selenium
等自动化测试工具,模拟浏览器操作,获取完整...
回测框架-开源项目
对于中国A股市场,许多开源项目主要面向美国市场或全球市场,因此在直接支持中国A股的数据源和工具上存在一些差异。不过,仍有一些开源项目可以通过与中国A股数据源(如Tushare、AkShare等)的集成,或者通过自定义数据获取模块来满足需求。以下是一些与中国A股匹配度较高的开源项目及其特点:
1. Backtrader
- 简介:Backtrader 是一个强大的回测框架,虽然主要设计用于全球市场,但它具有很好的灵活性,可以通过自定义数据源适配中国A股。
- 与A股匹配的特性:
- 可以使用 Tushare 或 AkShare 提供的中国A股数据源来获取历史和实时数据。
- 支持自定义策略、回测,并能与...
开源量化交易平台-开源项目
从多个数据源获取金融数据、进行处理、存储和展示,尤其适用于构建聚合多个金融开源数据源的系统。以下是一些值得关注的项目:
1. Backtrader
- 简介:Backtrader 是一个功能强大的开源量化交易框架,支持多种数据源集成(如Yahoo Finance、Interactive Brokers、Alpaca等),并且具有回测、策略开发、执行、风险管理等功能。它的一个重要特点是支持从多个数据源获取历史数据,并能进行统一的数据处理和回测。
- 特点:
- 支持多种数据源(如股票、期货、外汇等)。
- 强大的回测引擎和策略开发支持。
- 可与现有交易所集成,执行实时交易。
- 支持数据清洗、处理与可视化。 ...
多数据源聚合架构-数据架构-ONE
构建一个聚合多个金融开源数据源的架构方案,关键是如何有效地从多个数据源获取数据、进行处理和存储,同时保证数据的准确性、实时性和可扩展性。以下是一个高层次的架构方案,您可以根据需求进行调整:
1. 数据源集成层
集成多个金融数据源可以通过以下几种方式: - API集成:许多开源或免费金融数据源提供API访问,比如Yahoo Finance、Alpha Vantage、Quandl、IEX Cloud等。通过API调用实时或历史数据。 - Web Scraping:对于没有开放API的数据源,可以使用爬虫工具抓取数据(如BeautifulSoup、Selenium)。 - 文件导入:一些数据...
数据源层-数据架构-ONE
如果你关注中国A股的数据获取,这里有一些适合获取A股数据的开源项目和API:
1. TuShare
- 官网: TuShare
- GitHub: tushare GitHub
TuShare
是一个非常流行的中国股票数据接口,提供免费的A股历史数据、实时数据、财务数据、财经新闻等。你可以通过TuShare获取包括日线、周线、月线等不同周期的数据。对于一些高级功能,TuShare也提供了收费服务。
使用示例:
python
import tushare as ts
ts.set_token('your_token') # 设置你的API Token
pro = ts...