R语言学习——根据信息熵建决策树KD3

R语言代码

决策树的构建

rm(list=ls())
setwd("C:/Users/Administrator/Desktop/R语言与数据挖掘作业/实验3-决策树分类")

#save print
sink("tree1.txt")  

inputfile=read.csv(file="./bank-data.csv",header=TRUE)

#age
for(i in 1:length(inputfile$age))
  inputfile$age[i]=ifelse(inputfile$age[i]<30,"<=30",
                                 ifelse(inputfile$age[i]<40,"31-40",">=40"))

# sub=which(is.na(inputfile$age))
# inputfile=inputfile[-sub,]
#
# sub=which(is.na(inputfile$sex))
# inputfile=inputfile[-sub,]
#
# sub=which(is.na(inputfile$region))
# inputfile=inputfile[-sub,]

sub=which(is.na(inputfile$income))
inputfile=inputfile[-sub,]

# sub=which(is.na(inputfile$married))
# inputfile=inputfile[-sub,]
#
# sub=which(is.na(inputfile$children))
# inputfile=inputfile[-sub,]
#
# sub=which(is.na(inputfile$car))
# inputfile=inputfile[-sub,]
#
# sub=which(is.na(inputfile$save_act))
# inputfile=inputfile[-sub,]
#
# sub=which(is.na(inputfile$current_act))
# inputfile=inputfile[-sub,]
#
# sub=which(is.na(inputfile$mortgage))
# inputfile=inputfile[-sub,]
#
# sub=which(is.na(inputfile$pep))
# inputfile=inputfile[-sub,]
# 

#income
for (i in 1:length(inputfile$income))
  inputfile$income[i]=ifelse(inputfile$income[i]<12640.3,1,
         ifelse(inputfile$income[i]<17390.1,2,
                ifelse(inputfile$income[i]<29622,3,
                       ifelse(inputfile$income[i]<43228.2,4,5))))
#id
inputfile$id=NULL

#拆分数据
train_data=inputfile[1:500,]
print(length(train_data))
as.data.frame(train_data)
write.csv(train_data,file = "train_data.csv",row.names = FALSE)

test_data=inputfile[-100,]
print(length(test_data))
as.data.frame(test_data)
write.csv(test_data,file = "test_data.csv",row.names = FALSE)

#计算信息熵
calcent<-function(data){
  nument<-length(data[,1])#
  key<-rep("a",nument)#初始化key

  #把标签存到key
  for(i in 1:nument)
    key[i]<-data[i,length(data)]

  ent<-0
  prob<-table(key)/nument#table[key]=[272,228]代表272个1,228个2
  #print(prob)
  #print(prob[1])
  for(i in 1:length(prob))
    ent=ent-prob[i]*log(prob[i],2)
  #print(str(ent))
  return(ent)
}

calcent(train_data)

#分数据用
split<-function(data,variable,value){
  result<-data.frame()
  for(i in 1:length(data[,1])){
    if(data[i,variable]==value)
      result<-rbind(result,data[i,-variable])
  }
  return(result)
}

#选择第几列为最佳划分
choose<-function(data){
  numvariable<-length(data[1,])-1 #10个属性
  #print("baseent")
  baseent<-calcent(data)
  #print(baseent)
  bestinfogain<-0
  bestvariable<-0
  infogain<-0
  featlist<-c()
  uniquevals<-c()
  for(i in 1:numvariable)#遍历每一个属性
  {

    featlist<-data[,i]#获得这一列所有属性
    uniquevals<-unique(featlist)#去掉重复项,eg:对于age:uniquevals=[">=40"  "<=30"  "31-40"]
    #print("uniquevals")
    #print(uniquevals)
    newent<-0
    for(j in 1:length(uniquevals))#遍历该属性的每一个值
    {
      subset<-split(data,i,uniquevals[j])#调用自己写的split函数，把第i列为uniquevals[j]的都挑出来放到subset中
      #print(subset)
      prob<-length(subset[,1])/length(data[,1])
      newent<-newent+prob*calcent(subset)
    }
    infogain<-baseent-newent
    if(infogain>bestinfogain)
    {
      bestinfogain<-infogain
      bestvariable<-i
    }
  }
  return(bestvariable)
}

choose(train_data)

# #设置决策树分裂条件
# can_stop<-function(data)
# {
#   if(length(data)>50) return(FALSE)
#   yes_num<-0
#   no_num<-0
#   for(i in 1:length(data))
#   {
#     #print(data[i,length(data[i])])
#     if(data[i,length(data[i])]=="YES") yes_num=yes_num+1
#     else if(data[i,length(data[i])]=="NO")
#     {
#       no_num=no_num+1
#     }
#   }
#   if(abs(yes_num-no_num)>5) return(TRUE)#最终的叶子的纯净度
#   return(FALSE)
#
# }

is_or_no<-function(data)
{
  yes_num<-0
  no_num<-0
  for(i in 1:length(data))
  {
    #if(is.null(data[i,length(data[i])])) {next}
    if(is.na(data[i,length(data[i])])) {next}
    if(data$pep[i]=="YES") yes_num=yes_num+1
    else if(data$pep[i]=="NO")
    {
      no_num=no_num+1
    }
  }
  #print("yes_num")
  #print(yes_num)
  #print("no_num")
  #print(no_num)
  if(yes_num>no_num) return("")#111代表这一类基本都是YES
   return("")#111代表这一类基本都是NO
}

#建树
bulidtree<-function(data){
  choose_data<-choose(data)
  if(choose_data==0)
    print("finish")
  else
  {
    #print(choose_data)
    print(colnames(data)[choose_data])
    level<-unique(data[,choose_data])
    print(level)
    #输出属性名
    #print("length(level)")
    print(length(level))
    if(length(level)==1)#如果种类只有一个了，那就停止
      print("finish")
    else
      for(i in 1:length(level))
      {
        data1<-split(data,choose_data,level[i])
        #print(data1)
        if(length(data1)<10){   #通过对10这个数字的更改可以调整决策树的大小和深度
          print("finish")#设置结束函数
          #print(length(data1))
          if(length(data1)!=0)
          {
            print(is_or_no(data1))
          }
        }
        else
          bulidtree(data1)
      }
  }
}

bulidtree(train_data)
sink() 

输出结果会在当前工作台下的tree1.txt文件中

如图所示：

对输出结果的解释：

第一个挑出的是“children”这个属性，然后根据这个属性的1 3 0 2下设四个分支，其中1这个分支挑出的属性是“income”，下设3 2 5 4 1折5个分支，其中3这个分支停止了，为“111”，就是“YES”（“000”代表预测值为“NO”）

如草图：

 以此类推，就可以画出整棵树了。

一、KD3的想法与实现

下面我们就要来解决一个很重要的问题：如何构造一棵决策树?这涉及十分有趣的细节。

先说说构造的基本步骤，一般来说，决策树的构造主要由两个阶段组成:第一阶段，生成树阶段。选取部分受训数据建立决策树，决策树是按广度优先建立直到每个叶节点包括相同的类标记为止。第二阶段，决策树修剪阶段。用剩余数据检验决策树，如果所建立的决策树不能正确回答所研究的问题，我们要对决策树进行修剪直到建立一棵正确的决策树。这样在决策树每个内部节点处进行属性值的比较，在叶节点得到结论。从根节点到叶节点的一条路径就对应着一条规则，整棵决策树就对应着一组表达式规则。

问题：我们如何确定起决定作用的划分变量。

我还是用鸢尾花的例子来说这个问题思考的必要性。使用不同的思考方式，我们不难发现下面的决策树也是可以把鸢尾花分成3类的。

为了找到决定性特征，划分出最佳结果，我们必须认真评估每个特征。通常划分的办法为信息增益和基尼不纯指数，对应的算法为C4.5和CART。

关于信息增益和熵的定义烦请参阅百度百科，这里不再赘述。

直接给出计算熵与信息增益的R代码：

1、 计算给定数据集的熵

calcent<-function(data){
  nument<-length(data[,1])
  key<-rep("a",nument)
  for(i in 1:nument)
    key[i]<-data[i,length(data)]
  ent<-0
  prob<-table(key)/nument
  for(i in 1:length(prob))
    ent=ent-prob[i]*log(prob[i],2)
  return(ent)
}

我们这里把最后一列作为衡量熵的指标，例如数据集mudat(自己定义的)

> mudat

x y z

1 1 1 y

2 1 1 y

3 1 0 n

4 0 1 n

5 0 1 n

计算熵

> calcent(mudat)

1

0.9709506

熵越高，混合的数据也越多。得到熵之后，我们就可以按照获取最大信息增益的方法划分数据集

2、 按照给定特征划分数据集

为了简单起见，我们仅考虑标称数据(对于非标称数据，我们采用划分的办法把它们化成标称的即可)。

R代码：

split<-function(data,variable,value){
  result<-data.frame()
  for(i in 1:length(data[,1])){
    if(data[i,variable]==value)
      result<-rbind(result,data[i,-variable])
  }
return(result)
}
 

这里要求输入的变量为：数据集，划分特征变量的序号，划分值。我们以前面定义的mudat为例，以“X”作为划分变量，划分得到的数据集为：

> split(mudat,1,1)

y z

1 1 y

2 1 y

3 0 n

> split(mudat,1,0)

y z

4 1 n

5 1 n

3、选择最佳划分(基于熵增益)

choose<-function(data){

  numvariable<-length(data[1,])-1

  baseent<-calcent(data)

  bestinfogain<-0

  bestvariable<-0

  infogain<-0

  featlist<-c()

  uniquevals<-c()

  for(i in 1:numvariable){

    featlist<-data[,i]

    uniquevals<-unique(featlist)

    newent<-0

    for(j in 1:length(uniquevals)){

      subset<-split(data,i,uniquevals[j])

      prob<-length(subset[,1])/length(data[,1])

      newent<-newent+prob*calcent(subset)

    }

    infogain<-baseent-newent

    if(infogain>bestinfogain){

      bestinfogain<-infogain

      bestvariable<-i

    }

  }

  return(bestvariable)

} 

函数choose包含三个部分，第一部分：求出一个分类的各种标签;第二部分：计算每一次划分的信息熵;第三部分：计算最好的信息增益，并返回分类编号。

我们以上面的简易例子mudat为例，计算划分，有：

> choose(mudat)

[1] 1

也就是告诉我们，将第一个变量值为1的分一类，变量值为0的分为另一类，得到的划分是最好的。

4、 递归构建决策树

我们以脊椎动物数据集为例，这个例子来自《数据挖掘导论》，具体数据集已上传至百度云盘(点击可下载)

我们先忽略建树细节，由于数据变量并不大，我们手动建一棵树先。

>animals<-read.csv("D:/R/data/animals.csv")

>choose(animals)

[1] 1

这里变量1代表names，当然是一个很好的分类，但是意义就不大了，我们暂时的解决方案是删掉名字这一栏，继续做有：

>choose(animals)

[1] 4

我们继续重复这个步骤，直至choose分类为0或者没办法分类(比如sometimes
live in water的动物)为止。得到最终分类树。

给出分类逻辑图(遵循多数投票法)：

至于最后的建树画图涉及R的绘图包ggplot，这里不再给出细节。

下面我们使用著名数据集——隐形眼镜数据集，利用上述的想法实现一下决策树预测隐形眼镜类型。这个例子来自《机器学习实战》，具体数据集已上传至百度云盘(点击可下载)。

下面是一个十分简陋的建树程序(用R实现的)，为了叙述方便，我们给隐形眼镜数据名称加上标称：age,prescript,astigmatic,tear rate.

建树的R程序简要给出如下：

bulidtree<-function(data){

if(choose(data)==0)

print("finish")

else{

print(choose(data))

level<-unique(data[,choose(data)])

if(level==1)

print("finish")

else

for(i
in1:length(level)){

data1<-split(data,choose(data),level[i])

if(length(data1)==1)print("finish")

else

bulidtree(data1)

}

}

}

运行结果：

>bulidtree(lenses)

[1] 4

[1]"finish"

[1] 3

[1] 1

[1]"finish"

[1]"finish"

[1] 1

[1]"finish"

[1]"finish"

[1] 2

[1]"finish"

[1] 1

[1]"finish"

[1]"finish"

[1]"finish"

这棵树的解读有些麻烦，因为我们没有打印标签，(程序的简陋总会带来这样，那样的问题，欢迎帮忙完善)，人工解读一下：

首先利用4(tear
rate)的特征reduce，normal将数据集划分为nolenses(至此完全分类)，normal的情况下，根据3(astigmatic)的特征no，yes分数据集(划分顺序与因子在数据表的出现顺序有关)，no这条分支上选择1(age)的特征pre，young，presbyopic划分，前两个得到结果soft，最后一个利用剩下的一个特征划分完结(这里，由于split函数每次调用时，都删掉了一个特征，所以这里的1是实际第二个变量，这个在删除变量是靠前的情形时要注意)，yes这条分支使用第2个变量prescript作为特征划分my ope划分完结，hyper利用age进一步划分，得到最终分类。