熵描述了事物的混乱程度 一个变量x,它的可取值为x1,x2,x3,x4.当它取值为这几个值时,概率分别为p1,p2,p3,p4.那么这个混乱程度就可以描述为f(p1,p2,p3,p4). 二元取值时熵随p1的变化 随着可取值个数的增加,熵的最大值逐渐增大 熵的最大值在各个变量概率相等的情况下取得,也就是说,越是等概率的取值,混乱程度越大. f(x)=x*[-(1/x)*ln(1/x)]=-ln(1/x)=ln(x) 熵的另一种描述----基尼系数 基尼系数定义为:对于变量x,取两次,得到x1和x