OpenData
是一个开源的数据提取工具仓库,专注于从各类网站爬取数据,并提供简单易用的 API 以供使用。以下是该仓库的详细介绍:
1. 最近更新
在 2019 - 10 - 10 进行了更新,修正了一些 issue 中的问题,包括:
- 选股宝主题名称问题
- 经济数据 pmi 获取失败的问题
- 全球指数获取失败的问题
- 私募基金数据获取失败的问题
2. 安装
该工具仅支持 python3,需要安装 python3.6 以上版本,且没有支持 python2 的计划。提供了两种安装方式:
- 从 pypi 上安装:使用
pip install opendatatools
命令进行安装。 - 下载源代码安装:下载源代码后,运行
python setup.py install
命令进行安装。
3. 快速使用
该工具包含若干模块,基本使用方法如下:
- 导入模块:使用
from opendatatools import XXXXXX
(XXXXXX
代表模块名)导入所需模块。 - 调用模块方法:使用
df, msg = XXXXXX.function(param)
调用模块中的方法。 - 处理结果:如果
df is None
,则代表操作失败,可以从msg
中查看失败原因。
例如:
from opendatatools import stock
df, msg = stock.get_quote('600000.SH,000002.SZ')
print(df)
4. 目录结构
该仓库的目录结构如下:
.gitattributes
、.gitignore
、LICENSE
等:用于版本控制和许可证相关的文件。README.md
:仓库的说明文档,包含了安装、使用等信息。build.bat
:可能是用于构建项目的批处理文件。requirements.txt
:列出了项目所需的依赖库。setup.py
:用于打包和安装项目的脚本。tmp/
:临时文件夹,包含一些临时文件,如2.py
。tests/
:测试文件夹,包含了多个测试文件,如test_aqi.py
、test_coin.py
等。3rd/
:可能用于存放第三方数据或文件,如WorldCupMatches.xls
。example/
:示例文件夹,包含了多个示例代码文件,如amac_demo.py
、aqi_demo.py
等。image/
:图片文件夹,包含了项目中使用的图片。doc/
:文档文件夹,可能包含项目的相关文档。opendatatools/
:项目的核心代码文件夹,包含了数据提取工具的主要代码。
5. 其他资源
- demo:可以查看 wiki 了解更多示例。
- qq 群讨论:提供了 qq 群讨论的相关图片,可能用于用户之间的交流。
- 小程序:提供了小程序的相关图片,可能是该工具的小程序版本。