基础配置

1、关闭防火墙
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
查看防火墙状态
firewall-cmd --state
systemctl status firewalld.service
启动防火墙
systemctl start firewalld.service

2、修改主机名
第一种
hostnamectl set-hostname 名称
第二种
vim /etc/hostname
查看主机名
hostnamectl status

3.关闭networkmanage服务
systemctl status NetworkManager #查看NetworkManager状态
systemctl stop NetworkManager #停止NetworkManager
systemctl disable NetworkManager#禁止NetworkManager开机启动

4、修改ip地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.174.200
NETMASK=255.255.255.0
GATEWAY=192.168.174.2
DNS1=192.168.174.2

5.卸载自带jdk
查看自带jdk
rpm -qa |grep jdk
注意:copy-jdk-configs-3.3-10.el7_5.noarch 不属于自带的,所以不用管
  卸载:
  rpm -e 自带jdk名称 --nodeps

6.安装jdk
上传jdk1.8.0_171到/usr/local/module
解压jdk到soft
cd /usr/local/module
tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/soft

配置环境变量
vim /etc/profile
增加
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin

检查jdk安装是否成功
java -version

7.映射关系 ​ ip地址 主机名 ​ linux配置路径 vim /etc/hosts ​ windows配置路径 C:\Windows\System32\drivers\etc\hosts

8.修改启动级别之后重启
systemctl set-default multi-user.target #即将原来安装的含桌面的变成优先启动无界面的
reboot #重启

克隆两台然后
9.免密配置
1)创建秘钥
ssh-keygen -t rsa 然后直接三次回车

2)秘钥分发
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id master

注意:
  1、如果执行出错,进入/root/.ssh删除里面所有内容,从新执行
  2、master到master的免密登录也需要配置。因为有时候需要在当前结点启动进程,如不配此项到时候"启动/停止hadoop"是需要输入密码的。
  即 还需在master创建秘钥后,不仅要分发给node1、node2、还需要分发给master自身。
  3、故总结:
  搭建Hadoop时需要配免密登录的关系是:
          master ——> node1
          master ——> node2
          master ——> master
           
  4、(此步骤可以配,但是没必要,故此处忽略!)搭建Hadoop是要求三台虚拟机都需要单独配免密,然后分别分发给另外两台。要求实现任意一台虚拟机都可免密登录另外的其它两台虚拟机。
  区别于取搭建"三台jdk"时的仅需配置master的免密,然后分发秘钥到node1、node2
10.检查免密是否配置成功
cd /root/.ssh/
ll
当master中有
  authorized_keys //(被分发秘钥的节点node1、node2中只有这一个文件)
              id_rsa //私钥
              id_rsa.pub //公钥
              known_hosts 这些文件都存在时,才表示"任意一台免密登录其它两台的"免密配置成功,
                          如果觉得有问题可删除这些文件后重新配免密

安装hadoop

上传hadoop-2.7.6.tar.gz 到 soft
解压:tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/soft/
注意:必须在解压在/usr/local/soft/

配置环境变量:
vim /etc/profile
添加:
export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
PATH中新加$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新配置文件使修改生效:
source /etc/profile
1.修改slaves文件
vim /usr/local/soft/hadoop-2.7.6/etc/hadoop/slaves
删除原有内容
添加两个从节点主机名
node1
node2
2.修改hadoop-env.sh文件 
vim /usr/local/soft/hadoop-2.7.6/etc/hadoop/hadoop-env.sh
删除/用#注释掉:
export JAVA_HOME=${JAVA_HOME}
新加:
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
3.修改core-site.xml文件
vim /usr/local/soft/hadoop-2.7.6/etc/hadoop/core-site.xml
在标签<configuration>  
</configuration>中间复制上以下的内容

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
4.修改hdfs-site.xml文件
vim /usr/local/soft/hadoop-2.7.6/etc/hadoop/hdfs-site.xml
在标签<configuration>  
</configuration>中间复制上以下的内容

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>

5.修改yarn-site.xml文件
vim /usr/local/soft/hadoop-2.7.6/etc/hadoop/yarn-site.xml
在标签<configuration>
</configuration>中间复制上以下的内容 <property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>

6.修改mapred-site.xml文件
先通过此配置文件的模板mapred-site.xml.template复制一个配置文件出来
cp /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml.template /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml
在打开文件编辑
vim /usr/local/soft/hadoop-2.7.6/etc/hadoop/mapred-site.xml
在标签<configuration>
</configuration>中间复制上以下的内容 <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
7.将hadoop安装目录hadoop-2.7.6文件夹(含所有修改过的配置文件) 分发到 node1和node2
scp -r /usr/local/soft/hadoop-2.7.6 node1:/usr/local/soft
scp -r /usr/local/soft/hadoop-2.7.6 node2:/usr/local/soft
8.启动hadoop	(仅在master上操作即可)
先在master中格式化hadoop原信息(如果没有刷新添加hadoop环境变量后的配置文件,则此步会报错)
(仅第一次启动时执行)
hdfs namenode -format 法一:直接启动hadoop中的所有进程
再启动所有节点上的hadoop(仅在master上操作即可,仅第一次启动需要输入密码)
start-all.sh (配置过环境变量后,此启动命令可在任意目录执行) 法二:分开启动hadoop中的各部分,以达到启动hadoop的目的(同样仅在master上启动)
先启动 hdfs
start-dfs.sh
再启动 yarn
start-yarn.sh 两者都启动后,hadoop便完整启动了

验证是否启动成功

法一:
用jps查看当前结点运行的所有java进程
      主节点进程:namenode/ secondarnamenode/resourcemanager
      子节点进程:datanode /nodemanager

法二:
网页登录,验证HDFS的web界面
      google浏览器输入master:50070
      点击Datanodes,看其中有没有node1、node2。有则表示成功
      点击Utilities -> Browse the file system ,可查看file system(即HDFS存储的文件信息)(即可以浏览文件系统)

补充:
在HDFS中进行文件操作:
在master中,启动hadoop后,在master的控制台中输入:
hdfs dfs -“linux相关的命令” //控制台没有输出代表成功执行
举例:
1、在HDFS中创建目录:
hdfs dfs -mkdir /testHDFSShell //刷新web网页后即可查看到刚刚创建的目录
2、查看存储文件的HDFS中根目录信息的文件
hdfs dfs -ls /

法三:
网页登录,验证Yarn的web界面
      google浏览器输入master:8088

如果安装失败

1.关闭hadoop(在主节点)
stop-all.sh
如果关不掉就jps然后 (在所有节点)
kill -9 端口号

2.需要手动将每个节点的tmp目录删除: 所有节点都要删除(在所有节点)
rm -rf /usr/local/soft/hadoop-2.7.6/tmp

3.重新打开各个修改过得配置文件,看是否有问题

4.在主节点执行namenode格式化命令:
hdfs namenode -format

5.启动hadoop
start-all.sh

Hadoop配置与安装的更多相关文章

  1. Hadoop配置安装手册

    本次Hadoop集群安装一共使用四个节点,各节点IP如下: Master 172.22.120.191 Slave1 172.22.120.192 Slave2 172.22.120.193 Slav ...

  2. Hadoop 2.4.0全然分布式平台搭建、配置、安装

    一:系统安装与配置 虚拟机软件:Virtualbox 4.3.10(已安装对应扩展包) 虚拟机:Ubuntu 13.04 LTS 32位(至于为什么选择13.04,是由于最新的版本号装上后开机会出现错 ...

  3. Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS

    摘自:http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否 ...

  4. Hadoop配置第2节-JDK的安装

    Hadoop配置-JDK的安装 总体目标:完成zookeeper+Hadoop+Hbase 整合平台搭建   进度:1:集群网络属性配置2:集群免密码登陆配置3:JDK的安装4:Zookeeper的安 ...

  5. Ubuntu16.04下Hadoop的本地安装与配置

    一.系统环境 os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 hadoop : 2.6.4 部署时使用的用户名为hadoop,下文中需要使用用户名的地方请更改为 ...

  6. Hadoop单机模式的配置与安装

    Hadoop单机模式的配置与安装 单机hadoop集群正常启动后进程情况 ResourceManager NodeManager SecondaryNameNode NameNode DataNode ...

  7. 三、hadoop、yarn安装配置

    本文hadoop的安装版本为hadoop-2.6.5 关闭防火墙 systemctl stop firewalld 一.安装JDK 1.下载java jdk1.8版本,放在/mnt/sata1目录下, ...

  8. hadoop集群安装配置详细教程

    在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结.我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHad ...

  9. Hbase的配置和安装

    Hbase的配置和安装 1. 解压hbase.配置HBASE_HOME tar -zxvf hbase-1.2.4.tar.gz 2. 修改$HBASE_HOME/conf/hbase-env.sh文 ...

随机推荐

  1. 结合Vue.js的前端压缩图片方案

    这是一个很简单的方案.嗯,是真的. 为什么要这么做? 在移动Web蓬勃发展的今天,有太多太多的应用需要让用户在移动Web上传图片文件了,正因如此,我们有些困难必须去攻克: 低网速下上传进度缓慢,用户体 ...

  2. vue2.0开发聊天程序(八) 初步完成

    项目地址 服务器源码地址:https://github.com/ermu592275254/chat-socket 网页源码地址:https://github.com/ermu592275254/ch ...

  3. 【Android开发】URL 转义与反转义

    1,转义 @org.junit.Test public void testEncode(){ String url="http://192.168.0.19:8888/cas/login&q ...

  4. java中Super指向他紧邻的父类,而不是最底层的基类

    3.2 当有两次继承时,演示super指向他紧邻的父类 我们把上面的例子扩展成两次继承, 就看出:马克-to-win,Super是一个参考(或说指针)指向他紧邻的父类,而不是最底层的基类. 例1.3. ...

  5. git总是需要输入用户名密码问题解决

    解决办法: git bash进入你的项目目录,输入: git config --global credential.helper store 然后你会在你本地生成一个文本,上边记录你的账号和密码.当然 ...

  6. Jackson 和 fastJSON 导包异常

    内容 一.异常信息 HTTP Status 400 - type Status report message org.springframework.http.converter.HttpMessag ...

  7. JavaScript实现有农历和节气节假日的日历

    运行效果: 源代码: 1 <!DOCTYPE html> 2 <html> 3 <head> 4 <meta http-equiv="Content ...

  8. c++对c的拓展_函数的引用

    注意:1.引用可作为形参较指针更为直观 2可作为返回值 (判断标准:空间是否释放) #include <iostream> #include <stdlib.h> using ...

  9. 如何满足一个前端对 Mock 的全部幻想

    ​ 前端的痛苦 作为前端,最痛苦的是什么时候? 每个迭代,需求文档跟设计稿都出来了,静态页面唰唰两天就做完了.可是做前端又不是简单地把后端吐出来的数据放到页面上就完了,还有各种前端处理逻辑啊. 后端接 ...

  10. Python 国家地震台网中心地震数据集完整分析、pyecharts、plotly,分析强震次数、震级分布、震级震源关系、发生位置、发生时段、最大震级、平均震级

    注意,本篇内容根据我老师布置的数据分析作业展开.请勿抄袭,后果自负! 前情提要 编写这篇文章是为了记录自己是如何分析地震数据集,使用模块,克服一系列 \(bug\) 的过程.如果你是 \(python ...