作者文章归档:course
Python 大规模机器学习-Books
迈向可扩展性的第一步
Scikit-learn 中的可扩展性
实现快速SVM
神经网络与深度学习
用Tensorflow 进行深度学习
大规模分类和回归树
大规模无监督学习
分布式环境-Hadoop 和Spark
Spark 机器学习实践
简明的Tensorflow2-Books
Tensorflow 概述
基础篇
安装与环境配置
基础
模型建立与训练
常用模块
部署篇
Tensorflow 模型导出
Tensorflow Serving
Tensor flowLite
TensorFlow.js
大规模训练篇
分布式训练
使用TPU 训练Tensorflow 模型
扩展篇
Tenforflow Hub 模型复用
Tensorflow Datasets 数据集载入
Swift for Tensorflow
Tensorflow Quantum :混合量子-经典机器学习
高级篇
图执行模式下的Tensorflow2
tf.GradientTape 详解
Tensor...
Tensorflow机器学习-Books
VNPY-源码分析-开源量化系统-数据采集与处理的完整流程-0301004
vn.py 数据采集与处理的完整流程如下,涵盖了从行情数据的获取、存储、分发到最终被策略或其他模块使用的全过程。具体实现机制如下:
1. 数据采集的实现机制
(1)gateway模块采集数据
- 每个市场(如CTP、IB、Futu等)有对应的 gateway 适配器(如
vnpy/gateway/ctp/ctp_gateway.py
)。 - gateway 负责:
- 连接行情服务器(API登录)
- 用户/策略通过界面或代码发出合约订阅请求(subscribe)
- 接收来自服务器的实时行情推送(如Tick、K线等)
- 将原始API数据转换为vn.py统一的数据结构(如TickData、BarData)...
VNPY-源码分析-开源量化系统-获取行情数据的实现-0301003
在 vn.py 框架中,行情数据的获取是通过“gateway(接口适配器)”模块完成的。其流程和机制如下:
1. gateway模块作用
gateway模块对接各类交易所、券商的行情API(如CTP、IB、Futu等),负责: - 连接行情服务器 - 订阅指定合约的行情 - 接收并解析Tick、K线等实时行情数据 - 将原始API数据转换为vn.py统一的数据结构(如TickData、BarData)
2. 获取行情数据的主要流程
-
配置并加载gateway模块
用户在vn.py客户端界面或配置文件中选择、配置所需的行情接口(如CTP、IB等),输入服务器、账号、密码等信息。...
VNPY-源码分析-开源量化系统-数据源处理部分-0301002
vn.py 框架在“数据源处理”部分承担着行情数据采集、存储、管理与分发的关键角色,为量化策略开发和回测提供坚实的数据基础。以下详细介绍其数据源处理部分的功能与典型实现:
1. 数据源处理的主要功能
(1)数据采集
- 支持对接多种行情接口(如CTP、IB、Futu等),可接收Tick、K线、委托单、成交单等多维度原始数据。
- 通过gateway层实现对不同市场、交易所的数据抽象与统一,屏蔽底层API差异。
(2)数据存储与管理
- 内置数据库适配器,可将行情数据存储到多种数据库(SQLite、MySQL、PostgreSQL等)。
- 支持Tick、分钟K线、日线等不同粒度的数据存储与检索。...
VNPY-源码分析-开源量化系统-0301001
该仓库是 VeighNa(维纳),一个基于Python的开源量化交易系统开发框架,目标是为量化交易员和金融机构提供“由交易员开发,为交易员服务”的多功能量化交易平台。以下是核心信息总结:
项目定位
VeighNa自发布以来积累了大量金融领域用户(如私募基金、证券公司、期货公司等),支持二次开发(策略、模块等),并提供完善的文档和社区支持。其4.0版本新增AI量化模块(vnpy.alpha
),定位为AI驱动的量化交易平台。
核心功能与模块
1. AI量化模块(vnpy.alpha)
4.0版本重点新增,提供一站式多因子机器学习策略开发、投研和实盘交易解决方案,包含以下子模块: - da...
智能数据分析
智能数据分析(Intelligent Data Analysis, IDA)概述
一、定义与核心内涵
智能数据分析是融合人工智能(AI)、机器学习(ML)、深度学习(DL)、统计学等技术,对海量数据进行自动化解析、建模和预测的过程。其核心目标是从复杂数据中提取隐藏规律、预测趋势,并为决策提供智能化支持,解决传统数据分析中人工干预多、时效性差、预测能力不足等问题。
二、核心技术与工具
- 机器学习算法
- 监督学习:回归分析(如线性回归、随机森林)、分类算法(如SVM、逻辑回归),用于预测连续值或离散类别(如客户流失预测)。
- 无监督学习:聚类(如K-means)、降维(如PCA)、关联规...
SOP概述
SOP概述:标准化管理的核心工具
一、SOP的定义与本质
SOP(Standard Operating Procedure)即标准作业程序,是将某一事件的标准操作步骤和要求以统一的格式进行描述,用于指导和规范日常工作的程序性文件。其本质是通过对流程的分解、优化与固化,将经验转化为可复制的标准化操作指南,确保不同人员在相同条件下能执行一致的动作,产出稳定的结果。从制造业的流水线操作到服务业的客户接待,从医疗领域的手术流程到IT行业的代码部署,SOP已成为现代组织提升效率、控制风险的核心管理工具。
二、SOP的起源与发展
SOP的理念可追溯至20世纪初科学管理之父弗雷德里克·泰勒的“动作...