集成学习方法主要分成三种:bagging,boosting 和 Stacking.这里主要介绍Stacking. stacking严格来说并不是一种算法,而是精美而又复杂的,对模型集成的一种策略. 首先来看一张图. 1.首先我们会得到两组数据:训练集和测试集.将训练集分成5份:train1,train2,train3,train4,train5. 2.选定基模型.这里假定我们选择了xgboost, lightgbm 和 randomforest 这三种作为基模型.比如xgboost模型部分:依次…