最新hadoop+hbase+spark+zookeeper环境安装（vmmare下）

说明：我这里安装的版本是hadoop2.7.3，hbase1.2.4，spark2.0.2，zookeeper3.4.9 （安装包：链接：http://pan.baidu.com/s/1c25hI4g 密码：hbr1）

1.安装vmmare，创建3台虚拟机名字为hadoop1，hadoop2，hadoop3，都是centos6.5操作系统，网络选择桥接模式如图

2.创建完虚拟机后，启动虚拟机，然后运行ifconfig发现eth0网卡没有，这时不用急，去这个目录下找到ifcfg-eth0文件，然后修改ONBOOT=yes，如图,然后重启服务service network restart，然后再运行ifconfig发现eth0有了ip地址也有了，好ok，这时候你就可以用主机连接虚拟机操作了（个人建议用xshell工具好用）

3.安装jdk，将jdk-8u11-linux-x64.tar上传到虚拟机/home/hf（个人用户的文件夹），然后解压，然后将文件copy到/usr/java目录下，如图，接着配置环境变量在/etc/profile文件中添加如下几行，如图，可以忽略 $HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/zookeeper/bin:/usr/hbase/bin:这个，这个是后边hadoop相关的环境变量，这里还用不到，然后运行source /etc/profile使环境变量生效，运行java -version出现java版本等信息表明jdk已经安装好了

4.配置ssh免密码登录，首先修改/etc/hosts,修改为以下内容，注意ip要根据实际ip来

然后配置免密码先在hadoop1上执行

一.ssh-keygen -t rsa

二.ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop2和ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop3

其余两台机器类似

5.安装hadoop，解压hadoop安装包，放到/usr/hadoop目录下，如图，然后配置hadoop相关文件。

首先配置/usr/hadoop/etc/hadoop/core.site.xml

<property>
        <name>fs.defaultFS</name>//namenode的地址
        <value>hdfs://hadoop1:9000</value>
</property>
 
<property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/tmp</value>
</property>

配置/usr/hadoop/etc/hadoop/hdfs.site.xml

<property>
        <name>dfs.namenode.name.dir</name>               //namenode数据存放地址
        <value>file:/home/hadoop/namenode</value>
</property>
<property>
        <name>dfs.datanode.data.dir</name>               //datanode数据存放地址
        <value>file:/home/hadoop/datanode</value>
</property>
<property>
        <name>dfs.replication</name>                     //副本
        <value>2</value>
</property>

配置/usr/hadoop/etc/hadoop/mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

配置/usr/hadoop/etc/hadoop/yarn-site.xml

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>                  //yarn的界面
<value>hadoop1:8088</value>
</property>

配置/usr/hadoop/etc/hadoop/slaver，加入3台机器的hostname

hadoop2
hadoop3
hadoop1

配置/usr/hadoop/etc/hadoop/yarn-env.sh，找到相应行修改为JAVA=$JAVA_HOME/bin/java

然后/etc/profile修改一开始已经列出，这里就不列了，hadoop已经安装好了

先运行hadoop namenode -format 格式化，然后用start-all.sh来启动hadoop集群了，主节点有namenode，从节点有datanode表明正常

6.安装zookeeper和hbase

先安装zookeeper，先解压到/usr/zookeeper下，然后配置/usr/zookeeper/conf/zoo.cfg文件，配置如下

tickTime=2000
dataDir=/var/log/zookeeper
clientPort=2181
initLimit=5
syncLimit=2
server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

在/var/log/zookeeper下创建myid文件写入1或2或3，hadoop1机器的话写1，hadoop2机器的话写2，hadoop3机器的话写3

分别启动zk，命令./usr/zookeeper/bin/zkServer start,看下是否正常

安装hbase，解压hbase到/usr/hbase

配置/usr/hbase/conf/hbase-site.xml

<name>hbase.rootdir</name>
  <value>hdfs://hadoop1:9000/hbase</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>hadoop1,hadoop2,hadoop3</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/var/log/zookeeper</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>

配置/usr/hbase/conf/hbase-env.xml,修改

export JAVA_HOME=/usr/java/jdk1.8.0_11/

export HBASE_MANAGES_ZK=false

配置/usr/hbase/conf/regionservers添加

hadoop1

hadoop2

hadoop3

就可以启动hbase了，要先启动hadoop和zk才能启动hbase，命令start-hbase.sh,看各节点的进程，jps -l，主节点有hmaster，从节点有hregionserver，这样表示正常

7.spark安装

首新解压spark到/usr/saprk，然后修改/usr/spark/conf/spark-env.sh文件，添加或覆盖

export HADOOP_CONF_DIR=/usr/hadoop/etc/hadoop

配置slaves，添加

hadoop1

hadoop2

hadoop3

好了至此环境都搭建好了，首先起hadoop再zk再hbase。

（安装包：链接：http://pan.baidu.com/s/1c25hI4g 密码：hbr1）