python 机器学习 决策树

决策树（Decision Trees ，DTs）是一种无监督的学习方法，用于分类和回归。

优点：计算复杂度不高，输出结果易于理解，对中间值缺失不敏感，可以处理不相关的特征数据
缺点：可能会产生过度匹配的问题
适用数据类型：数值型和标称型　　source code下载　　https://www.manning.com/books/machine-learning-in-action

运行demo　　　　重要参考学习：http://blog.csdn.net/dream_angel_z/article/details/45965463

关键代码

if so return 类标签;

else

　　寻找划分数据集的最好特征
　　划分数据集
　　创建分支节点
　　for 每个分支节点
　　　　调用函数createBranch并增加返回结果到分支节点中
return 分支节点

对应代码

def createTree(dataSet,labels):
　　classList = [example[-1] for example in dataSet] 不是dataset[-1] ｛dataset倒数第一元素｝ ，而这时里，dataset每一个元素里的倒数第一元素
　　if classList.count(classList[0]) == len(classList): 如果返回分类List count类型一样，则返回该类型！
　　　　return classList[0]#stop splitting when all of the classes are equal
　　if len(dataSet[0]) == 1: #stop splitting when there are no more features in dataSet 如果只有一个元素
　　　　return majorityCnt(classList)
　　bestFeat = chooseBestFeatureToSplit(dataSet) 选择最好的特殊索引
　　bestFeatLabel = labels[bestFeat] 而得到这个label flippers 还是 no surfaces 呢
　　myTree = {bestFeatLabel:{}} 然后创建该最好的分类 的子树
　　del(labels[bestFeat]) 删除了该最好分类
　　featValues = [example[bestFeat] for example in dataSet]
　　uniqueVals = set(featValues)
　　for value in uniqueVals:
　　　　subLabels = labels[:] #copy all of labels, so trees don't mess up existing labels
　　　　myTree[bestFeatLabel][value] = createTree(splitDataSet(dataSet, bestFeat, value),subLabels)
　　return myTree

在子节点 是否可分类 决定 递归 如是一类型 则 递归往下分类
检测数据集的每个子项是否属于同一类： 如果值都是a，而result都是y/n 则为一类 所以，是两个参数输入
看代码看不懂，不明白到底是要做什么！分类，我们把一堆数据分类，以label来标签上。
像k邻近 classify([0, 0], group, labels, 3) 意思是，把新数据[0,0] 按k=3的邻近算法在 group,labels数据里的分类！ group与label对应！

数据的意思是 条个维度的值 而最后一个是 是否为 fish的，结果标签
所以，如果是我分，是要把每个维度 切出来 + 结果标签 成二维的 一列数组，去比较分类

测试应该是，把前n个维量的值，向量输入，输出是yes or no!

一开始看，比较头晕，条理清楚，理顺下思路，看代码才易懂！
理解了目标和初始数据，你才明白，原来classList是结果标签！，是对应将要分类的dataset的对应结果标签
而labels 则是 特征名，对应开始的dataset的维度，特征的名strname
bestFeatLabel 最好分类特征的维度名 是第一维度还是第二，第N
featValues 是bestFeatLabel 的维度下，的值数组。就是这一维度下的组 用来做新的分类比较。
uniqueVals 用set判断来是否一类，
比如
dataSet = [[1, 1, 'yes'],
[0, 1, 'yes'],
[1, 0, 'no'],
[1, 0, 'no'],
[0, 0, 'no']]
labels = ['no surfacing','flippers',]
这样的createTree :{'flippers': {0: 'no', 1: 'yes'}} 直接把no surfacing的维度省略了



在划分数据集之前之后信息发生的变化称为信息增益。


uniqueVals = set(featList) set是归类，看只有多少种类

calcShannonEnt <class 'list'>: [[1, 'no'], [1, 'no']] = 0 >> * 0.4 = 0 为什么是0
log(prob,2) log(1,2) = 0;2^0=1,prob <1 log Value <0
<class 'list'>: [[1, 'yes'], [1, 'yes'], [0, 'no']] = 0.91 >> * 0.6 = 0.55
25行 for featVec in dataSet: 计频 for prop

0.9709505944546686 = calcShannonEnt(dataSet) <class 'list'>: [[1, 1, 'yes'], [1, 1, 'yes'], [1, 0, 'no'], [0, 1, 'no'], [0, 1, 'no']]

0.5509775004326937 = += prob * calcShannonEnt(subDataSet) 分开的子集后，的概率*香农滴，得到的和，原来的整体的香浓滴比

0.4199730940219749 infoGain = baseEntropy - newEntropy