用决策树模型求解回归问题（regression tree）

How do decision trees for regression work?

决策树模型既可以求解分类问题（对应的就是 classification tree），也即对应的目标值是类别型数据，也可以应用于回归预测问题的求解（regression tree），其输出值则可以是连续的实数值。一般市面上介绍决策树模型的书及相关的教学视频，通常只关注决策树在分类问题上的求解，而一笔带过对回归树的介绍。事实上，二者的构建过程也确实没有本质的不同，二者的差异主要集中在划分属性时的划分原则上。

1. SSE

SSE=∑i∈S1|yi−y1¯|+∑i∈S2|yi−y2¯|

y1¯,y2¯ 分别表示以当前属性作为划分选择时各自对应的集合 S1 和 S2 目标值的均值。可通过如下的剪枝方式提高魔性的泛化能力：

SSEcp=SSE+cp×St

St 用来定义树的规模，也即终端节点的数目。cp 则为可调参数，更小的 cp 将会获得更大的树，该参数可通过交叉验证的方式获得。

2. OLS regression： sum of squared error

3. quantile regression：