OpenData-数据提取工具仓库


OpenData 是一个开源的数据提取工具仓库,专注于从各类网站爬取数据,并提供简单易用的 API 以供使用。以下是该仓库的详细介绍:

1. 最近更新

在 2019 - 10 - 10 进行了更新,修正了一些 issue 中的问题,包括:

  • 选股宝主题名称问题
  • 经济数据 pmi 获取失败的问题
  • 全球指数获取失败的问题
  • 私募基金数据获取失败的问题

2. 安装

该工具仅支持 python3,需要安装 python3.6 以上版本,且没有支持 python2 的计划。提供了两种安装方式:

  • 从 pypi 上安装:使用 pip install opendatatools 命令进行安装。
  • 下载源代码安装:下载源代码后,运行 python setup.py install 命令进行安装。

3. 快速使用

该工具包含若干模块,基本使用方法如下:

  1. 导入模块:使用 from opendatatools import XXXXXXXXXXXX 代表模块名)导入所需模块。
  2. 调用模块方法:使用 df, msg = XXXXXX.function(param) 调用模块中的方法。
  3. 处理结果:如果 df is None,则代表操作失败,可以从 msg 中查看失败原因。

例如:

from opendatatools import stock
df, msg = stock.get_quote('600000.SH,000002.SZ')
print(df)

4. 目录结构

该仓库的目录结构如下:

  • .gitattributes.gitignoreLICENSE 等:用于版本控制和许可证相关的文件。
  • README.md:仓库的说明文档,包含了安装、使用等信息。
  • build.bat:可能是用于构建项目的批处理文件。
  • requirements.txt:列出了项目所需的依赖库。
  • setup.py:用于打包和安装项目的脚本。
  • tmp/:临时文件夹,包含一些临时文件,如 2.py
  • tests/:测试文件夹,包含了多个测试文件,如 test_aqi.pytest_coin.py 等。
  • 3rd/:可能用于存放第三方数据或文件,如 WorldCupMatches.xls
  • example/:示例文件夹,包含了多个示例代码文件,如 amac_demo.pyaqi_demo.py 等。
  • image/:图片文件夹,包含了项目中使用的图片。
  • doc/:文档文件夹,可能包含项目的相关文档。
  • opendatatools/:项目的核心代码文件夹,包含了数据提取工具的主要代码。

5. 其他资源

  • demo:可以查看 wiki 了解更多示例。
  • qq 群讨论:提供了 qq 群讨论的相关图片,可能用于用户之间的交流。
  • 小程序:提供了小程序的相关图片,可能是该工具的小程序版本。