ubuntu环境下搭建Hadoop集群中必须需要注意的问题

博主安装的hadoop是3.1.3这里是按照厦门大学那个博客安装的，在安装与启动过程中，费了不少事，特此记录一下问题。

安装的连接：
安装环境：http://dblab.xmu.edu.cn/blog/install-hadoop/
分布式搭建：http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

需要注意的是文中所讲的是hadoop2版本，其中集群搭建修改的五个配置文件中的 slaves文件，在hadoop3中已改名成 wordks 目录在/usr/local/hadoop/etc/hadoop。

如果前面伪分布式搭建能够正常启动的话，在分布式搭建的过程中主要还是配置文件需要按照他博文中的写好，我就是在配置文件上有时候对应的不够好，这里主节点master的配置文件需要和slave从节点的配置文件一样，还有/etc/hosts文件用vim编辑记得在前面加上sudo
不然权限不够无法保存。

最后hadoop3的访问端口是 master:9870;hadoop2版本访问的端口是50070，怪不得访问超时，我还以为DataNode的问题，有时候DataNode无法启动，需要将所有节点的 tmp、logs文件夹强制删除，停止服务后需要重新格式化 ./bin/hdfs namenode -format .

中间的节点如果没有启动的话，需要去日志中查看错误，找到对应的错误在Goole，查看日志的命令

less less logs/hadoop-hadoop-namenode-master.log
tail -10 logs/hadoop-hadoop-namenode-master.log # 最后10行的日志信息
head -5 hadoop-hadoop-namenode-master.log # 查看前10行日志信息

在启动服务之前需要查看防火墙的状态(以下的命令是ubuntu的)

systemctl status firewalld.service
# 如果是开着的需要 关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service # 禁止firewall开机启动

最后搭建成功的截图
master节点

slave01

访问master:9870

访问master:8088

看间这头黄色的大象就代表搭建成功了。