FinRL-Meta-用于数据驱动的金融强化学习的市场环境和基准平台

评论
31 views

FinRL-Meta是一个用于数据驱动的金融强化学习的市场环境和基准平台，旨在为研究人员和量化从业者提供便利。 1. 目标

- **提供基准和促进公平比较**：便于研究人员在相同数据集上评估不同策略，帮助理解深度强化学习（DRL）算法的“黑箱”特性。
- **缩小模拟与现实差距**：解决现有研究中回测与实际表现差异大的问题。
- **减轻数据预处理负担**：让量化从业者专注于策略开发和优化。

  1. 设计原则

    • 即插即用（PnP）：具备模块化特点，可处理不同市场类型。
    • 完整性和通用性：涵盖多个市场、多种数据源，提供用户友好变量。
    • 分层结构和可扩展性：包含数据层、环境层和代理层，各层通过端到端接口交互，扩展性强。
    • “训练-测试-交易”流程：训练用模拟数据，测试和交易连接实时API，减少信息泄露，方便算法比较。
    • 高效数据采样：借鉴ElegantRL项目，利用多处理加速数据采样，减少训练时间。
    • 透明性：虚拟环境对上层不可见。
    • 灵活性和可扩展性：支持继承，方便功能扩展。

  2. 平台概述

    • 数据层：遵循DataOps范式，整合Akshare、Alpaca等多种数据源，数据频率多样，涵盖股票、加密货币等市场。负责数据清洗、特征工程等操作，还支持用户自定义技术指标。
    • 环境层与代理层：将市场环境与数据层、代理层分离，支持ElegantRL、Stable-Baselines3、RLlib等DRL库，方便不同代理和算法在相同基准环境下对比。

  3. “训练-测试-交易”流程：DRL代理先在训练数据集训练、测试数据集微调，然后进行回测或部署到模拟/实盘交易市场，该流程可避免信息泄露。

  4. 未来愿景：计划构建包含上万个代理的多代理市场模拟器FinRL-Metaverse，运用GPU并行模拟和深度进化RL框架，为复杂市场现象研究和金融监管提供指导。

  5. 引用信息：提供了不同年份的三篇论文引用格式，方便学术引用。