hadoop2.7+spark2.2+zookeeper3.4.简单安装

1、zookeeper的安装
##配置/etc/hosts
192.168.88.130 lgh
192.168.88.131 lgh1
192.168.88.132 lgh2

##安装java8
解压配置环境即可

##ssh(每一台机器)
ssh-keyscan #生成密码
ssh-copy-id lgh2 #复制到不同机器

##创建用户
useradd -d /home/spark spark
passwd spark

##解压
tar -zxvf zookeeper-3.4.8.tar.gz -C xxx目录

##创建软链接（每一台机器）
ln -s zookeeper-3.4.8 zookeeper

##创建环境变量
vim ~/.bashrc
export ZOOKEEPER_HOME=/home/spark/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH

##修改配置文件
cd /home/spark/zookeeper/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

#配置信息如下：
tickTime=2000 #服务器与客户端之间交互的基本时间单元（ms）
initLimit=10 # 此配置表示允许follower连接并同步到leader的初始化时间，它以tickTime的倍数来表示。当超过设置倍数的tickTime时间，则连接失败
syncLimit=5 # Leader服务器与follower服务器之间信息同步允许的最大时间间隔，如果超过次间隔，默认follower服务器与leader服务器之间断开链接
dataDir=/home/spark/zookeeper/data #保存zookeeper数据路径
dataLogDir=/home//spark/zookeeper/dataLog #保存zookeeper日志路径，当此配置不存在时默认路径与dataDir一致
clientPort=2181 #客户端访问zookeeper时经过服务器端时的端口号
server.1=lgh:2888:3888 #表示了不同的zookeeper服务器的自身标识，作为集群的一部分，每一台服务器应该知道其他服务器的信息
server.2=lgh1:2888:3888
server.3=lgh2:2888:3888
maxClientCnxns=60 #限制连接到zookeeper服务器客户端的数量

##创建myid文件
cd /home/spark/zookeeper/data
vim myid #输入1

##复制到其他机器
scp -r zookeeper-3.4.8 spark@lgh1:/home/spark/
scp -r zookeeper-3.4.8 spark@lgh2:/home/spark/

#修改myid文件
不同机器数字不一样，分别为2和3

##启动
zkServer.sh start

#查看状态
zkServer.sh status

#查看进程
jps
QuorumPeerMain

2、hadoop安装

##解压
tar -zxvf hadoop-2.7.7.tar.gz -C xxx目录

##修改vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk

##修改 vim etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://lgh:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/spark/hadoop-2.7.7/tmp</value>　　　　　　　　　
</property>
</configuration>

##修改vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/dfs/name</value>
　　</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/hdfs/data</value>
</property>
</configuration>

#修改vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

##修改yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

##修改 vim slaves
lgh
lgh1
lgh2

##复制到其他机器
scp -r hadoop-2.7.7/ spark@lgh1:/home/spark/
scp -r hadoop-2.7.7/ spark@lgh2:/home/spark/

##配置环境变量
HADOOP_HOME=/home/spark/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

##格式化
hdfs namenode -format

##启动
start-all.sh

##查看进程
#主节点
9616 QuorumPeerMain
11264 ResourceManager
10818 DataNode
11061 SecondaryNameNode
11751 Jps
10714 NameNode
11370 NodeManager

#从节点
2273 QuorumPeerMain
2547 NodeManager
2438 DataNode
2653 Jps

3、spark的安装
##安装scala
tar -zxvf scala-2.12.8.tgz -C /usr/local/
ln -s scala-2.12.8/ scala

##配置环境变量
export SCALA_HOME=/usr/local/scala
export PATH=$SCALA_HOME/bin:$PATH

##复制到其他机器并建立软链接
scp -r scala-2.12.8/ root@lgh1:/usr/local/
scp -r scala-2.12.8/ root@lgh2:/usr/local/

##解压spark
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz -C xxx目录

##修改配置文件
cd /home/spark/spark-2.2.0-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh

vim spark-env.sh
配置信息如下：
export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala
export HADOOP_HOME=/home/spark/hadoop
export HADOOP_CONF_DIR=/home/spark/hadoop/etc/hadoop
export SPARK_MASTER_IP=SparkMaster
export SPARK_WORKER_MEMORY=2g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1

cp slaves.template slaves
vim slaves
配置信息如下：
lgh
lgh1
lgh2

##复制到其他节点并建立软链接
scp -r spark-2.2.0-bin-hadoop2.7 spark@lgh1:/home/spark/
scp -r spark-2.2.0-bin-hadoop2.7 spark@lgh2:/home/spark/

##配置环境变量
export SPARK_HOME=/home/spark/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

##启动
cd /home/spark/spark/sbin && ./start-all.sh

##jps查看主节点进程
9616 QuorumPeerMain
11264 ResourceManager
12704 Worker
10818 DataNode
12756 Jps
11061 SecondaryNameNode
12632 Master
10714 NameNode
11370 NodeManager

##jps查看从节点进程
2240 DataNode
2562 Worker
2052 QuorumPeerMain
2613 Jps