量化交易回测系统---RQalpha、qstrade学习笔记

一、RQalpha

github 地址  https://github.com/ricequant/rqalpha

1、运行test.py文件，显示 No module named 'logbook.base'。

解决先卸载再安装： pip uninstall logbook   pip install logbook

2、出现：RuntimeError: 请设置账户及初始资金。

解决：

二、Zipline

github地址  https://github.com/quantopian/zipline     Zipline学习资料      http://www.zipline.io/

zipline代码比较多，不好复制

三、qstrade

github地址  https://github.com/mhallsmoore/qstrader

听从朋友建议，暂时学习qstrade。代码少，上手快。

测试：

Could not subscribe ticker SPY as no data CSV found for pricing.
Could not subscribe ticker AGG as no data CSV found for pricing.
Traceback (most recent call last):
File "E:/qstrader-master/examples/monthly_liquidate_rebalance_backtest.py", line 108, in <module>
run(config, testing, tickers, filename)
File "E:/qstrader-master/examples/monthly_liquidate_rebalance_backtest.py", line 94, in run

在策略代码后面添加如下即可：

import os
from munch import munchify
os.chdir('E:\\qstrader-master')
config = munchify({"CSV_DATA_DIR": "data", "OUTPUT_DIR": "out", 'testing': True})

保存图片需要修改：

将trading_session.py文件最后部分，倒数第二行self.statistics.plot_results()-------->self.statistics.save()

将tearsheet.py文件最后部分，self.plot_results()---------->self.plot_results(filename)

学习问题汇总：

1、运行buy_and_hold_backtest.py文件时出错。

File "E:\qstrader-master\qstrader\price_handler\yahoo_daily_csv_bar.py", line 68, in _merge_sort_ticker_data
df = pd.concat(self.tickers_data.values()).sort_index()
File "D:\Anaconda3\lib\site-packages\pandas\core\reshape\concat.py", line 206, in concat
copy=copy)
File "D:\Anaconda3\lib\site-packages\pandas\core\reshape\concat.py", line 239, in __init__
raise ValueError('No objects to concatenate')
ValueError: No objects to concatenate

1、self.tickers_data 是什么内容？-->self.csv_dir=csv_dir,csv_dir在哪里？-->

2、出错位置在：backtest=TradingSession(config,strategy,tickers,initial_equity,start_date,end_date,events_queue,title=title)  为实例化，

参数如下：

config -->    TEST==munchify({"CSV_DATA_DIR"："data","OUTPUT_DIR"："out"})

strategy -->实例化，BuyAndHoldStrategy(tickers[0],events_queue)

tickers -->['SPY']

initial_equity -->10000

start_date -->datetime.datetime(2000,1,1)

end_date -->datetime.datetime(2014,1,1)

events_queue -->queue.Queue()

title -->['Buy and Hold Example on SPY']

进一步查看，错误地点在 qstrader\trading_session.py ,交易阶段。为什么/如何  进入这一阶段？

还是要细心看代码，在__init__下面有self._config_session(),启动了该方法。功能是初始化回测期间必须类。

-->   def _config_session(self):    -->self.price_handler=YahooDailyCsvBarPriceHandler(self.config.CSV_DATA_DIR,self.events_queue,self.tickers,

start_date=self.start_date,end_date=self.end_date)

“”“设计去读取csv文件、开-高-低-收-交易量(OHLCV)，for each requested financial instrument and stream those to the provided events queue as BarEvents"""

-->self.subscribe_ticker(ticker)  订阅ticker  -->订阅之前 self._open_ticker_price_csv(ticker)

-->self._merge_sort_ticker_data() 合并ticker

debug后，发现代码错误位于读取SPY.csv文件部分。代码如下：

ticker_path=os.path.join(self.csv_dir,'%s.csv"%ticker)

self.tickers_data[ticker]=pd.io.parser.read_csv(ticker_path,....) ，好奇怪，这里debug下一步，ticker_path没有了。

进一步发现是路径的问题，buy_and_hold_backtest.py是在examples路径下面，即：

import os
os.getcwd()
Out[7]: 'E:\\qstrader-master\\examples'

而文件在路径为：'E:\qstrader-master\data'，ticker_path='data\\SPY.csv'。

即文件读取位置为：'E:\qstrader-master\examples\data\SPY.csv' ，所有读取不到文件，可以如下修改：

一、可以在buy_and_hold_backtest.py 文件中加入： import os  os.chdir('E:\\qstrader-master')

二、在python console中运行buy_and_hold_backtest.py文件， run examples\buy_and_hold_backtest.py

run examples\buy_and_hold_backtest.py
Backend Qt5Agg is interactive backend. Turning interactive mode on.
ticker: SPY self.tickers: {}
ticker_path: data\SPY.csv
Running Backtest...
---------------------------------
Backtest complete.
Sharpe Ratio: 0.25
Max Drawdown: 79.59%

2、后面debug过程中，循环的流程为：

trading_session.py  只有一个类：TradingSession(object)

注意：在 __init__时，运行了self._config_session()

方法有4个：1、 _config_session(self):   2、_continue_loop_condition(self) 3、_run_session(self) 4、start_trading(self,testing=False)

在buy_and_hold_backtest.py中先TradingSession实例化，再运行start_trading方法，流程如下

self._config_session()---->

self.start_trading()----->self._run_session()---->self._continue_loop_condition

运行到方法3、_run_session(self)中

while self._continue_loop_condition():

　　try:

　　　　event=self.events_queue.get(False)

　　except queue.Empty:

　　　　self.price_handler.stream_next()

　　else:

　　　　if event is not None:

　　　　　　if (event.type==EventType.TICK or event.type==EventType.BAR): 。。。。

#dir(event)  -->有6个属性  action print_order quantity ticker type typename  --->event.type=EventType.ORDER，不满足条件进入elif

　　　　　　elif event.type==EventType.ORDER:

　　　　　　　　self.execution_handler.execute_order(event)

　　　　　　　　

---->

def _continue_loop_condition(self):

　　if self.session_type=='backtest':

　　　　return self.price_handler.continue_backtest

　　else:

　　　　return datetime.now()<self.end_session_time

查看可知：self.price_handler来自：qstrader.price_handler.yahoo_daily_csv_bar.YahooDailyCsvBarPriceHandler object

debug   self.price_handler.continue_backtest 为True，继续，

-->

self.execution_handler.execute_order(event)  来自于：qstrader/execution_handler/ib_simulated.py

def execute_order(self,event):

　　if event.type==EventType.ORDER:

　　　　#obtain values from the OrderEvent

　　　　timestamp=self.price_handler.get_last_timestamp(event.ticker)

　　　　ticker=event.ticker

　　　　action=event.action

　　　　quantity=event.quantity

　　　　#obtain the fill price

　　　　if self.price_handler.istick():

　　　　　　bid,ask=self.price_handler.get_best_bid_ask(ticker)

　　　　　　fill_price=ask if event.action=="BOT" elst bid

　　　　else:

　　　　　　close_price=self.price_handler.get_last_close(ticker)

　　　　　　fill_price=close_price

　　　　#set a dummy exchange and calculate trade commission    dummy:模拟交易

　　　　exchange='ARCA'

　　　　commission=self.calculate_ib_commission(quantity,fill_price)　

　　　　#create the FillEvent and place on the events queue

　　　　fill_event=FillEvent(timestamp,ticker,action,quantity,exchange,fill_price,commission)    #实例化FillEvent类　　

　　　　self.events_queue.put(fill_event)

　　　　if self.compliance is not None:

　　　　　　self.compliance.record_trade(fill_event)

---->

self.price_handler  来自于：qstrader/price_handler/base.py ，包含三个类：

1、AbstractPriceHandler(object) 类   2、AbstractTickPriceHandler(AbstractPriceHandler) 类    3、AbstractBarPriceHandler(AbstractPriceHandler)类

self.price_handler.get_last_timestamp()为AbstractPriceHandler(object)类中方法，

def get_last_timestamp(self,ticker):

　　if ticker in self.tickers:

　　　　timestamp=self.tickers[ticker]["timestamp"]

　　　　return timestamp

self.price_handler.istick()  类：AbstractBarPriceHandler(AbstractPriceHandler)    方法：istick

def istick(self):

　　return False

def isbar(self):

　　return True

self.price_handler.get_last_close(self,ticker) 为 AbstractBarPriceHandler(AbstractPriceHandler)类中的方法

def get_last_clost(self,ticker):  #ticker：‘SPY’

　　if ticker in self.tickers:    #self.tickers为：{'SPY': {'close': 1454375000, 'adj_close': 1058253320, 'timestamp': Timestamp('2000-01-03 00:00:00')}}

　　　　close_price=self.tickers[ticker]['close']  #self.tickers[ticker]为字典

　　　　return close_price  #在ib_similated.py中得到close_price

----->

ticker=event.ticker   action=event.action  event来自于： qstrader.event.OrderEvent  位置 qstrader/event.py

event.py内容如下：总共有7个类，一个基础类Event。

from enum import Enum

EventType=Enum("EventType","TICK BAR SIGNAL ORDER FILL SENTIMENT")

1、Event(object): 2、TickEvent(Event) 3、BarEvent(Event) 4、SignalEvent(Event) 5、OrderEvent(Event) 6、FillEvent(Event) 7、SentimentEvent(Event)

fill_event=FillEvent(timestamp,ticker,action,quantity,exchange,fill_price,commission)

干的活不多，就只是进入类，带入属性值

---->

self.calculate_ib_commission(quantity,fill_price) 来自于：execution_handler/ib_simulated.py

包含一个类：IBSimulatedExecutionHandler(AbstractExecutionHandler)

def __init__(self,events_queue,price_handler,compliance=None):

def calculate_ib_commission(self,quantity,fill_price):

　　commission=min(0.5*fill_price*quantity,max(1.0,0.005*quantity))

　　return PriceParser.parse(commission)

----->

self.compliance.record_trade(fill_event) 来自于：qstrader/compliance/example.py文件，只有一个类

from .base import AbstractCompliance   来自于：qstrader/compliance/base.py  没啥内容

类：ExampleCompliance(AbstractCompliance)   #

保存交易记录的

3、debug查看运行流程

一、交易之前创建投资过清单。

run(config,testing,tickers,filename)---->

title/initial_equity/start_date/end_date/events_queue/strategy,加载策略类（MonthlyLiquidateRebalanceStrategy(tickers,events_queue）----->

tickers_invested:{'SPY': False, 'AGG': False}，初始化投资过的股票代码，----->

ticker_weights/position_sizer,加载头寸数量类（LiquidateRebalancePositionSizer(ticker_weights)）------->

qstrader/position_sizer/rebalance.py-----position_sizer-----得到initial_order----------->

建立回测backtest=TradingSession(config,strategy,tickers,initial_equity,start_date,end_date,events_queue,position_sizer=position_sizer,title,

benchmark=tickers[0])--------->

开始回测 results=backtest.start_trading(testing=testing)------------->

前面工作都干完了，现在开始回测，backtest是实例化，start_trading调用实例化的方法。------->

self._config_session()，初始化回测期间必须类，self.price_handler=YahooDailyCsvBarPriceHandler(self.config.CSV_DATA_DIR,self.events_queue,

self.tickers,start_date=self.start_date,end_date=self.end_date)----->

event=self.events_queue.get(False)获得队列中的事件，每个bar事件--------->

self.strategy.calculate_signals(event)，加载策略，计算信号----->

self.portfolio_handler.update_portfolio_value()，更新组合价值，------>

self.statistics.update(event.time,self.portfolio_handler),统计更新------->

返回结果 return results

4、思考问题，复杂的看不太懂地方

一、event.py中EventType，EventType=Enum('EventTye','TICK BAR SIGNAL FILL')

TICK BAR 分别对应TICK BAR数据事件，SIGNAL FILL作用是什么？各个事件运行的流程是怎样的？

以buy_and_hold_backtest.py debug来看，事件流程如下：

---->

buy_and_hold_backtest.py  功能：calculate_signals(self,event)

signal=SignalEvent(self.ticker,'BOT',suggested_quantity=self.base_quantity)

self.events_queue.put(signal)                              ----------------------->    trading_session.py  self.portfolio_handler.on_signal(event)

portfolio_handler.py 功能：on_signal(self,signal_event)

#从单个信号事件中创建初始订单列表

initial_order=self._create_order_from_signal(signal_event)

#从初始的订单中设置买卖数量

sized_order=self.position_sizer.size_order(self.portfolio,initial_order)

#从整体风控角度重新修改或者消除订单

order_events=self.risk_manager.refine_orders(self.portfolio,sized_order)

#把订单放入事件队列

self._place_orders_onto_queue(order_events)

二、如何复制一个简易版本回测系统？

去除掉不需要部分，哪些是不需要的，需要看懂整体运行流程和各个部分功能。

1、去掉risk_manager   完成

2、去掉  ORDER事件，直接从SIGNAL事件到FILL事件

ORDER事件干了什么事情，1、order_event---->fill_event 2、self.compliance.record_trade(fill_event)

3、修改trading_session.py中的self.position_sizer文件，（1）、trading_session.py中self.position_sizer有点重复；（2）、产生信号的时候直接生成需要的order参数，tick、action、quantity、

现在问题是什么呢？是带入SIGNAL中的问题，1、有信号要交易，立即生成交易需要参数（代码量比较大，可以写入策略模板）

这样有个问题是在portfolio_handler.py中，在生成order_events时加载了一下self.position_sizer,已经被我删除了。写法如下：

order_events=self.position_sizer.size_order(self.portfolio,initial_order)

可以在portfolio_handler.py 中on_signal中修改，带入需要参数。

现在问题是，主策略中quantity数量为0，又没有加载position_sizer修改数量，

4、先分析portfolio.py、postition.py、tearsheet.py文件，了解各个文件功能。

portfolio.py要传入两个参数，price_handler和cash；price_handler也是portfolio_handler.py、trading_session.py参数，在trading_session.py中入参。

self.price_handler=YahooDailyCsvBarPriceHandler(self.config.CSV_DATA_DIR,self.events_quue,self.tickers,start_date=self.start_date,end_date=self.end_date)

参数传递过程：buy_and_hold_backtest.py initial_equity----> trading_session self.equity=PriceParser.parse(equity)---->portfolio_handler.py self.initial_cash=initial_cash ---->Portfolio.py self.init_cash=cash

portfolio.py 参数设置：

self.price_handler=price_handler  self.init_cash=cash self.equity=cash self.cur_cash=cash self.position={} self.closed_positions=[] self.realised_pnl=0

5、修改掉乘以1000万部分，看着好奇怪。

三、问题是：TradingSession类中的属性(self.price_handler self.suggested_order self.position_size self.portfolio_handler self.compliance self.statistics)定义为另一个类的实例化对象，该属性在实例化的过程中，该如何输入参数？为什么要这样写，有没有别的写法呢？

解答：本质上类时数据结构，实例化后的对象也是一个参数，所以是可以的。它的主要作用是：在父级对象内直接使用子级对象的功能和参数。

子级对象实例化过程中传参可以直接使用父级全局变量参数，子级对象实例化传入的参数可为另一子级实例化的属性，如下图所示：self.portfolio_handler为类PortfolioHandler实例化对象，为trading_session的属性之一，self.portfolio_handler又为TearsheetStatistics实例化过程中的参数。

四、修改

1、重写position.py transact_shares函数

2、position中整除修改为除，在price_parser.py中保留两位小数  44行 round(x,2)

将ib_simulated.py中commission设置为0，print发现quantity非常大，中间有bug

解决：使用vnpy中数据调整函数，如下所示，复制到price_parser.py文件中，再修改一个地方：一、compliance文件中，record_trade方法下display，删去参数4即可。

3、