Hadoop分布式集群搭建_1
Hadoop是一个开源的分布式系统框架
一.集群准备
1. 三台虚拟机,操作系统Centos7,三台主机名分别为k1,k2,k3,NAT模式
2.节点分布
k1: NameNode DataNode ResourceManager NodeManager
k2: SecondNameNode DataNode NodeManager
k3 : DataNode NodeManager
3.安装包准备
jdk-8uxx-linux-x64.rpm
hadoop-2.7.1.tar.gz
二.Linux准备
1.关闭防火墙
systemctl status firewalld //查看防火墙状态
systemctl stop firewalld //关闭防火墙
systemctl disable firewalld //防火墙开机不启动
2.修改主机名
hostnamectl set-hostname 主机名
注:如果克隆的虚拟机,那么需要修改主机名
3.IP设置
编辑:vi /etc/sysconfig/network-scripts/ifcfg-ens33
文件中修改 :
BOOTPROTO=none
ONBOOT=yes [开机启动网卡]
文件中添加 :
IPADDR=xxx [IP地址]
NETMASK=xxx [子网掩码]
GATEWAY=xxx [网关]
DNS1=xxx
重启网卡 : systemctl restart network
注 : 克隆的虚拟机需要修改IP地址,删除UUID
4.添加hosts文件
编辑:vi /etc/host
文件中添加:
IP地址 主机名
IP地址 主机名
IP地址 主机名
5.安装JDK
安装包 : jdk-8uxx-linux-x64.rpm
安装 : rpm -ivh jdk-8uxx-linux-x64.rpm
配置环境变量 : vi /etc/profile
文件中添加 : JAVA_HOME=/usr/java/jdk PATH=$PATH:$JAVA_HOME/bin: CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar: |
环境变量生效 : source /etc/profile
查看:java -version
6.SSH免密
1. ssh-keygen
之后一直回车就可以
2.ssh-copy-id 主机名
三台机子都需要进行免密
3.ssh 主机名
测试免密是否成功
三.HADOOP环境搭建
1.解压缩
安装包 : hadoop-2.7.1.tar.gz
解压缩 : tar -zxvf hadoop-2.7.1.tar.gz -C /opt/apps
2.修改环境变量
编辑 :vi /etc/profile
文件中添加 :
export HADOOP_HOME=/opt/apps/hadoop.2.7.1/
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
3.环境变量生效
source/etc/profile
四.HADOOP配置文件
1.进入hadoop配置文件目录
cd /opt/apps/hadoop.2.7.1/etc/hadoop
2.修改配置文件 : hadoop-env.sh
vi hadoop-env.sh
修改文件中JAVA_HOME,改为自己JDK的路径
3.配置文件 :core-site.xml
vi core-site.xml 添加如下内容:
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:8020</value> //NameNode节点主机名
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096<value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoopdata/bigdata/tmp</value>
</property>
4.配置文件 : hdfs-site.xml
vi hdfs-site.xml 添加如下内容:
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoopdata/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoopdata/dfs/data<>
</property>
<property>
<name>dfs.http.address</name>
<value>NameNode节点主机名:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>SecondNameNode节点主机名:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
5.配置文件 : salves
vi salves 添加以下内容(三台机器的主机名) :
hostname1
hostname2
hostname3
6.配置文件 : mapred-site.xml
mv mapred-site.xml.template mapred-site.xml (进行重命名)
vi mapred-site.xml 添加以下内容 :
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>历史服务:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>历史服务节点主机名:19888</value>
</property>
7.配置文件 : yarn-site.xml
vi yarn-site.xml 添加如下内容 :
<property>
<name>yarn.resourcemanager.hostname</name>
<value>ResourceManager节点主机名</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>ResourceManager节点主机名:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>ResourceManager节点主机名:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>ResourceManager节点主机名:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>ResourceManager节点主机名:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>ResourceManager节点主机名:8088</value>
</property>
<property>
<name>yarn.client.failover-proxy-provider</name>
<value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value> </property>
<property>
<name>yarn.web-proxy.address</name>
<value>ResourceManager节点主机名:9989</value>
</property>
五.Hadoop启动【Hadoop分发到别的机器,三台机器都要有Hadoop】
1.格式化NameNode
hdfs namenode -format
注 : 如出现 [name has been successfully formated] 则格式化成功
2.启动进程
start-dfs.sh
start-yarn.sh
3.查看节点 ------ jps
4.创建wordcount.txt 验证Yarn
yarn jar /root/app/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /hello.txt /out/1
六.谢谢
本人还处于小白阶段,可能写的地方可能让人晦涩,还请多见谅,我还会继续努力!
Hadoop分布式集群搭建_1的更多相关文章
- Hadoop分布式集群搭建
layout: "post" title: "Hadoop分布式集群搭建" date: "2017-08-17 10:23" catalog ...
- Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很多问题.以下是自己根据搭建Hadoop分布式集群的经验希望给新手一些帮助.当然,建议先把HDFS ...
- hadoop分布式集群搭建(2.9.1)
1.环境 操作系统:ubuntu16 jdk:1.8 hadoop:2.9.1 机器:3台,master:192.168.199.88,node1:192.168.199.89,node2:192.1 ...
- hadoop分布式集群搭建前期准备(centos7)
那玩大数据,想做个大数据的从业者,必须了解在生产环境下搭建集群哇?由于hadoop是apache上的开源项目,所以版本有些混乱,听说都在用Cloudera的cdh5来弄?后续研究这个吧,就算这样搭建不 ...
- [过程记录]Centos7 下 Hadoop分布式集群搭建
过程如下: 配置hosts vim /etc/hosts 格式: ip hostname ip hostname 设置免密登陆 首先:每台主机使用ssh命令连接其余主机 ssh 用户名@主机名 提示是 ...
- Centos 7下Hadoop分布式集群搭建
一.关闭防火墙(直接用root用户) #关闭防火墙 sudo systemctl stop firewalld.service #关闭开机启动 sudo systemctl disable firew ...
- 使用Docker在本地搭建Hadoop分布式集群
学习Hadoop集群环境搭建是Hadoop入门必经之路.搭建分布式集群通常有两个办法: 要么找多台机器来部署(常常找不到机器) 或者在本地开多个虚拟机(开销很大,对宿主机器性能要求高,光是安装多个虚拟 ...
- 分布式计算(一)Ubuntu搭建Hadoop分布式集群
最近准备接触分布式计算,学习分布式计算的技术栈和架构知识.目前的分布式计算方式大致分为两种:离线计算和实时计算.在大数据全家桶中,离线计算的优秀工具当属Hadoop和Spark,而实时计算的杰出代表非 ...
- 大数据系列之Hadoop分布式集群部署
本节目的:搭建Hadoop分布式集群环境 环境准备 LZ用OS X系统 ,安装两台Linux虚拟机,Linux系统用的是CentOS6.5:Master Ip:10.211.55.3 ,Slave ...
随机推荐
- Gartner发布最新魔力象限报告,微软领跑数据库市场(编译自TechRepublic)
知名调研机构Gartner发布了最新的<2015年数据库管理系统魔力象限调研报告>.报告显示,微软.甲骨文和AWS是数据库市场的三大领导厂商. 此份报告对知名的商用以及开源数据库厂商进行了 ...
- asp.net session 保存实体类对象
存:User user=new User();session["USER"]=user; 取:User u= (User ) session["USER"];
- Java SimpleDateFormat对象的parse方法处理12点变成00点
原文链接:https://blog.csdn.net/chenbetter1996/article/details/82812959 new SimpleDateFormat("格式&quo ...
- Python实例---游戏人生[类的学习]
# -*- coding:utf-8 -*- # ##################### 定义实现功能的类 ##################### class Person: def __in ...
- 7 Dockerfile指令详解 && VOLUME 指令
格式为: VOLUME ["<路径1>", "<路径2>"...] VOLUME <路径> 之前我们说过,容器运行时应该尽量 ...
- H5 签到功能
Introduce(介绍) 用户签到的H5例子(css+jquery,无图片),由于网上找的的用户签到例子都不好,要不就是好多图片组成的,要不就大量冗余代码,所以特意做了个签到界面(移动端). Use ...
- 021.1 IO流——File类
########################################IO流: IO:用于处理设备上的数据的技术.设备:内存,硬盘,光盘 流:系统资源,Windows系统本身就可 ...
- python内置模块(三)
hashlib模块 通过一个函数,把任意长度的数据转换为一个长度固定的数据串(通常用16进制的字符串表示). Python2中使用hashlib: import hashlib m = hashlib ...
- [attribute |= value] 与 [attribute ^= value],[attribute ~= value] 与 [attribute *= value] 的联系与区别
[attribute |= value] 与 [attribute ^= value] 的联系与区别: 一.联系: 1. 两个选择器的 attribute 属性值等于 value 时都可以匹配 < ...
- Java异常总结和Spring事务处理异常机制浅析
异常的概念和Java异常体系结构 异常是程序运行过程中出现的错误.本文主要讲授的是Java语言的异常处理.Java语言的异常处理框架,是Java语言健壮性的一个重要体现. Thorwable类所有异常 ...