在学习决策树类的算法时,总是绕不开 信息熵.Gini指数和它们相关联的概念,概念不清楚,就很难理解决策树的构造过程,现在把这些概念捋一捋. 信息熵 信息熵,简称熵,用来衡量随机变量的不确定性大小,熵越大,说明随机变量的不确定性越大.计算公式如下: 考虑二元分布的情况,当取2为对数底时,可以得到如下的函数曲线.可以看到,当p=0.5时,不确定性最大,熵的值是1,也最大,当p=0或1时,没有不确定性,熵的值最小,是0. 条件熵 我们在分析某个特征对随机变量的影响时,需要计算条件熵,即随机变量Y的信息