单机安装hadoop集群

一、安装前准备

1.VMware虚拟内容

2.Linux系统（CentOS-6.9-min）

镜像文件http://vault.centos.org/

3.jdk 1.8 rpm或bin文件

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

4.hadoop 安装文件 rpm或bin文件

https://hadoop.apache.org/releases.html

5.SecureCRT 本人喜欢用这个

6.规划好ip段

cmd 查看自己的ip; 192.168.50.3起

192.168.50.11 master

192.168.50.12 slave1/node1

192.168.50.13 slave2/node2

192.168.50.14 slave3/node3

二、安装

安装虚拟软件...略；VMware 软件有三种网络设置，本文使用的是NAT方式，主要是它对ip设置比较容易不会对外物理机造成干扰.
安装完软件开始安装centOS

一路Next过来，到

我选的是自定义方式，这个主要是类似windows 分盘，我这是简单的分成三个：一个根目录，一个启动，一个swap

接着一直Next到底重启就安装结束；关机拍个快照方便后面使用的时候又来一次安装省时省力.

3.开始配置网络和其他节点虚拟机，此时就用到上面规划的ip

主节点名称安装的时候就已经设置好了所以不用再改，直接配置网络ip

vi /etc/sysconfig/network-scripts/ifcfg-eth0

ip设置好后就配置网络映射关系

vi /etc/hosts

映射关系配置文件，避免mac地址的冲突

rm –rf /etc/udev/rules.d/70-persistent-net.rules

关闭防火墙 service iptables stop或chkconfig iptables off 重启网卡 service network restart

到此主节点的网络已经配置完成，可以测试一下网络是否通了,是否发现局域网已经可以了，但外网不行如果要配置外网只需把dns2本地物理ip设置为物理机的网关就行,网络好了就可以SecureCRT 连接了.

开始安装jdk 和 hadoop （这个地方你可以关闭机器拍个快照后面在安装使用scp命令拷贝到其他节点）

安装目录一定的记住，虽然后面可以用命令查看到安装目录不过文件保存的太深麻烦；

我自己安装的都放在apps下，根目录下新建 apps目录后 Alt+P 打开SFTP界面拖拽jdk和hadoop文件上传

文件上传完，可以使用tar命令去解压安装了 (安装完顺手删除gz文件)

tar -zxvf jdk-8u181-linux-x64.tar.gz -C apps/

tar -zxvf hadoop-3.1.1.tar.gz -C apps/

接下来配置jdk环境变量了 vi /etc/profile

export JAVA_HOME=/root/apps/jdk1.8.0_181

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

export PATH=$JAVA_HOME/bin:$PATH

保存后 source /etc/profile 刷新;使用java -verison 看看是否配置成功

hadoop 的后面在配置主机配置到处结束，可以直接关机快照后配置节点

三、节点配置

1.节点配置相对第一次简单很多了，使用vm软件的克隆快速备份出节点,备份好记得开机前重新生成mac地址避免冲突

配置节点名称 hostname slave1 如果还不行执行 # sysctl kernel.hostname=slave1 强制修改

然后 vi /etc/sysconfig/network

2.ip地址配置

vi /etc/sysconfig/network-scripts/ifcfg-eth0

这里是和host文件一一对应如slave1 是192.168.50.12

3.重启网卡 service network restart

4.测试是否可以和其他机器通信 ping 192.168.50.11

到处节点1配置完成。。其他节点参照步骤就行了，虚拟机已经部署就位。