微软开源!世界首个AI量化投资平台 Qlib 基本使用教程 您所在的位置:网站首页 实战ai量化交易网 微软开源!世界首个AI量化投资平台 Qlib 基本使用教程

微软开源!世界首个AI量化投资平台 Qlib 基本使用教程

2023-09-14 08:17| 来源: 网络整理| 查看: 265

量化往期推荐

Easytrader 超简单的股市自动交易神器

Lean — 优秀好用的开源量化交易平台

30分钟教你搭建普罗监控系统—股票人气榜实时变化!

可转债交易薅羊毛策略 — Python 量化投资实战教程(10)

自定义MySQL数据流 — Python 量化投资实战教程(9)

A股回测“孕线”策略 — Python 量化投资实战教程(8)

Python 量化投资实战教程(7) — 孕线真的有用吗?

Python 量化投资原来这么简单(6) — 交易平均收益率

Python 量化投资原来这么简单(5) — A股回测KDJ策略

Python 量化投资原来这么简单(4) —KDJ 策略

量化投资原来这么简单(3) —A股回测MACD策略

量化投资原来这么简单(2)—MACD策略(+26.9%)

量化投资原来这么简单(1)

15ac1729978f854113e7103c2004c318.png

2020年9月,微软开源了AI量化投资平台Qlib的源代码,随后得到了不少的关注,Qlib的主要优势在于:

1.Python覆盖量化投资全过程,用户无需切换语言;内置许多深度学习算法模型,降低AI算法使用的门槛。

2.内置A股、美股数据接入通道,基于qrun能够自动运行整个工作流程,大大提高开发效率。

3.每个组件都是松耦合可以独立使用,用户能够自行选用某些组件。

Qlib相比于我们之前介绍的backtrader,那功能完善太多。backtrader相当于给你提供一个基本的量化框架,数据、策略、算法,你全部自己搞定。而Qlib则从数据、到策略、到算法都给了你全套的解决方案,你只需要加一点自己的想法,不需要管其他细枝末节的东西就能完成AI量化研究,非常方便。

下面我们就来试一下 Qlib 的安装和运行内置算法策略。

1.准备

开始之前,你要确保Python和pip已经成功安装在电脑上,如果没有,请访问这篇文章:《超详细Python安装指南(传统)》或 《Python数据分析与挖掘好帮手—Anaconda》 进行安装,本文建议使用Anaconda。

由于qlib有许多许多依赖,如果你不想安装过程中出现问题,或者引起其他程序的运行问题,建议使用Conda创建一个你的量化投资虚拟环境:

conda create -n my_quant python=3.8

Qlib 仅支持 Python3.7 以上的版本且暂不支持 Python3.10; 另外 Python 3.9 版本不支持模型性能绘制,因此我选择创建Python3.8版本的虚拟环境。

(安装方式一)pip 安装:

pip install pyqlib

在pip安装的过程中如果遇到任何问题,请搜索引擎解决,如果无法解决,可以尝试下面的源码安装:

(安装方式二 (推荐))源码安装:

# 提前安装一些依赖 pip install numpy pip install --upgrade cython # clone and install qlib git clone https://github.com/microsoft/qlib.git && cd qlib python setup.py install

如果你由于网络问题无法成功Clone项目,请在Python实用宝典公众号后台回复 Qlib 下载源代码。

Windows 机器在安装的时候可能会遇到下面这个问题:

402620ce84039a6180f73b47ed985d60.png

这是因为安装 qlib 的依赖 — tables 时出现了编译错误,原因很多,我选择逃学,因此建议使用 tables 的 wheel 文件进行安装,这样就不需要编译了:

https://www.lfd.uci.edu/~gohlke/pythonlibs/#pytables

在上述网站下载适合你系统的 wheel 文件:

98fa4917d4e03576a566438d9936ce1f.png

下载完毕后,输入以下命令:

pip install 你的文件路径/tables-3.6.1-cp39-cp39-win_amd64.whl

即可完成 tables 的安装,然后再执行一遍 python setup.py install 即可。

2. 数据准备

由于这套量化开源平台的作者是中国人,所以非常贴心地准备好了A股数据,大家可以输入命令直接下载:

# 1天级别数据 python scripts/get_data.py qlib_data --target_dir ~/.qlib/qlib_data/cn_data --region cn # 1分钟级别数据 python scripts/get_data.py qlib_data --target_dir ~/.qlib/qlib_data/cn_data_1min --region cn --interval 1min

如果你需要其他分钟级的数据,修改interval即可。

你可以使用crontab定时自动更新数据(来自雅虎财经):

* * * * 1-5 python  update_data_to_bin --qlib_data_1d_dir

手动更新数据:

python scripts/data_collector/yahoo/collector.py update_data_to_bin --qlib_data_1d_dir --trading_date --end_date

3. 运行量化回测流程示例

Qlib 提供了一个名为  qrun  自动运行整个工作流程的工具(包括构建数据集、训练模型、回测和评估)。

你可以按照以下步骤启动自动量化研究工作流程并进行图形报告分析,Quant Research 工作流程:

Qrun  运行 lightgbm 工作流程的配置 workflow_config_lightgbm_Alpha158.yaml 如下所示:

cd examples # Avoid running program under the directory contains `qlib` qrun benchmarks/LightGBM/workflow_config_lightgbm_Alpha158.yaml

结果如下:

2413935dd6bc2ec9392e24adeef8ab59.png

可以看到这里包括三个统计分析:benchmark return (基准收益) / excess return without cost(除去手续费的超额收益)) / excess return with cost(包含手续费的超额收益)。每个统计分析中都有如下5个参数:

mean: 异常收益的平均值

std: 异常收益的标准差

annualized_return: 年化回报

information_ratio: 信息比率

max_drawdown: 最大回撤

大家可以看到,这个内置的算法和策略,在不包括手续费的情况下,相比于基准收益年化回报略高,但是在把手续费等费用算上之后,比沪深300基准收益略逊一筹。

如果你想要自定义这个策略和算法的回测参数,你可以查看 workflow_config_lightgbm_Alpha158.yaml 的内容:

上滑查看更多代码

qlib_init:     provider_uri: "~/.qlib/qlib_data/cn_data"     region: cn market: &market csi300 benchmark: &benchmark SH000300 data_handler_config: &data_handler_config     start_time: 2008-01-01     end_time: 2020-08-01     fit_start_time: 2008-01-01     fit_end_time: 2014-12-31     instruments: *market port_analysis_config: &port_analysis_config     strategy:         class: TopkDropoutStrategy         module_path: qlib.contrib.strategy         kwargs:             model:             dataset:             topk: 50             n_drop: 5     backtest:         start_time: 2017-01-01         end_time: 2020-08-01         account: 100000000         benchmark: *benchmark         exchange_kwargs:             limit_threshold: 0.095             deal_price: close             open_cost: 0.0005             close_cost: 0.0015             min_cost: 5 task:     model:         class: LGBModel         module_path: qlib.contrib.model.gbdt         kwargs:             loss: mse             colsample_bytree: 0.8879             learning_rate: 0.2             subsample: 0.8789             lambda_l1: 205.6999             lambda_l2: 580.9768             max_depth: 8             num_leaves: 210             num_threads: 20     dataset:         class: DatasetH         module_path: qlib.data.dataset         kwargs:             handler:                 class: Alpha158                 module_path: qlib.contrib.data.handler                 kwargs: *data_handler_config             segments:                 train: [2008-01-01, 2014-12-31]                 valid: [2015-01-01, 2016-12-31]                 test: [2017-01-01, 2020-08-01]     record:         - class: SignalRecord           module_path: qlib.workflow.record_temp           kwargs:             model:             dataset:         - class: SigAnaRecord           module_path: qlib.workflow.record_temp           kwargs:             ana_long_short: False             ann_scaler: 252         - class: PortAnaRecord           module_path: qlib.workflow.record_temp           kwargs:             config: *port_analysis_config

参数比较多,大家借助翻译工具应该都能看懂。这里摘取华泰的一个研究报告,里面对参数做了具体的翻译:

ab53a61e847ec36630e0cb7ee9f0c985.png

1f03a03c0167e06710a65446309c08c4.png

cd19329f19ef73afa3c537ae6bddf2fb.png

为了方便用户使用,微软内置了许多模型,如上文我们用到的 gbdt 位于克隆的文件夹下的 qlib/contrib/model/gbdt.py:

f4a1580f8db89524025405f3b85c7952.png

注意:pytorch 开头的模型需要预先安装pytorch.

一个小问题,Qlib里,策略和算法的区别是什么?

大家注意到,Qlib这里,必须定义策略和算法两个配置,而在backtrader里面,我们更加重视策略,而非“算法”这个概念。那么这两者在Qlib中的区别是什么?我们看默认TOPK策略的源代码:

15497d79c0fe4ec00dad944a2431fd78.png

可以看到,默认的这个策略,选择了算法预测分数结果中排名 TOP K 的股票,也就是策略从算法得到的结果中去做筛选需要交易的股票。算法相当于生成一个新的可用于判断买入卖出的评判标准。这就是策略和AI算法这两者的最重要区别。

最后,得益于松耦合的代码设计,我认为 Qlib 是一个能够让不同层次的研究者各取所需的开源项目,是一个不可多得的量化开源平台,特别适合重度Python使用者,有兴趣的朋友可以试一下,未来我也会考虑出 Qlib 相关的使用教程,敬请期待。

我们的文章到此就结束啦,如果你喜欢今天的Python 实战教程,请持续关注Python实用宝典。

有任何问题,可以在公众号后台回复:加群,回答相应红字验证信息,进入互助群询问。

原创不易,希望你能在下面点个赞和在看支持我继续创作,谢谢!

点击下方阅读原文可获得更好的阅读体验

Python实用宝典 (pythondict.com)不只是一个宝典欢迎关注公众号:Python实用宝典

841b04c3fe58f2a8364ea700983558f8.png



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有