一、准备工作

1、最少三台虚拟机或者实体机(官网上是默认是3台),我这边是3台

s1: 10.211.55.18

s2: 10.211.55.19

s3: 10.211.55.20

2、安装JDK

3、配置SSH

4、修改hosts 文件vi /etc/hosts

在文件中添加:
  
  地址 主机名 10.211.55.18 s1 10.211.55.19 s2 10.211.55.20 s3

5、下载hadoop

二、安装hadoop

1、解压hadoop2.9.0

mkdir -r /usr/soft

tar -zxvf hadoop2..0.tar.gz -C /usr/soft  #解压到/usr/soft 

2、配置环境变量(ps:我这边是centos7)

cd /etc/profile.d/

touch hadoop_envi.sh #创建脚本

vi hadoop_envi.sh #编辑脚本
以下都是 hadoop_envi.sh 文件里面内容,也是添加环境变量
HADOOP_INSTALL=/usr/soft/hadoop-2.9.

PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

export HADOOP_INSTALL

export PATH

3、测试

hadoop version

三、编写hadoop配置文件,配置文件都在 hadoop2.9.0/etc/hadoop/ 下

1、core-site.xml 通用配置

<configuration>
  

  <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/hadoop/hadooptmp</value>
      <description>namenode上本地的hadoop临时文件夹</description>
    </property>

    <property>
<name>fs.defaultFS</name> #NameNode ip
<value>hdfs://s1/</value>
</property>
</configuration>

2.  yarn-site.xml

<configuration>

    <property>
<name>yarn.resourcemanager.hostname</name> #资源管理器的主机
<value>s1</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> </configuration>

3.  hdfs-site.xml 分布式文件相关配置

<configuration>

  <property>
    <name>dfs.name.dir</name>
    <value>/home/hadoop/hdfs/name</value>  
    <description>namenode上存储hdfs名字空间元数据</description>
  </property> 

   <property>
      <name>dfs.data.dir</name>
      <value>/home/hadoop/hdsf/data</value>
      <description>datanode上数据块的物理存储位置</description>
   </property>

    <property>
  <name>dfs.replication</name> #文件块的备份数量 默认3个, 2、3都可以
  <value></value>
</property> </configuration>

4.  mapre-site.xml  这个问题通过 mapred-site.xml.template复制而来的

<configuration>

    <property>
<name>mapreduce.framework.name</name> #MapReduce框架名称
<value>yarn</value>
</property> </configuration>

5、编辑slave

vi slaves
以下是 slaves 需要添加的内容
s2 #表示s2和s3 为数据节点,s2就是 10.211.55.19,s3就是 10.211.55.20
s3

四、启动hadoop

hadoop namenode -format #

名称节点格式化成功

启动 dfs 和 yarn 这两个脚本文件都在 hadoop2.9.0/sbin 下

./sbin/start-dfs.sh 

./sbin/start-yarn.sh

五、测试hadoop

前提:开发8088 和 50070端口    10.211.55.18是namenode 节点

http://10.211.55.18:8088

http://10.211.55.18:50070/

Hadoop集群分布搭建的更多相关文章

  1. hadoop集群的搭建(分布式安装)

    集群 计算机集群是一种计算机系统,他通过一组松散集成的计算机软件和硬件连接起来高度紧密地协同完成计算工作. 集群系统中的单个计算机通常称为节点,通常通过局域网连接. 集群技术的特点: 1.通过多台计算 ...

  2. hadoop集群环境搭建之zookeeper集群的安装部署

    关于hadoop集群搭建有一些准备工作要做,具体请参照hadoop集群环境搭建准备工作 (我成功的按照这个步骤部署成功了,经实际验证,该方法可行) 一.安装zookeeper 1 将zookeeper ...

  3. hadoop集群环境搭建之安装配置hadoop集群

    在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/  (如果没有这个目录 ...

  4. hadoop集群环境搭建准备工作

    一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...

  5. hadoop集群的搭建与配置(2)

    对解压过后的文件进行从命名 把"/usr/hadoop"读权限分配给hadoop用户(非常重要) 配置完之后我们要创建一个tmp文件供以后的使用 然后对我们的hadoop进行配置文 ...

  6. hadoop集群的搭建

    hadoop集群的搭建 1.ubuntu 14.04更换成阿里云源 刚刚开始我选择了nat模式,所有可以连通网络,但是不能ping通,我就是想安装一下mysql,因为安装手动安装mysql太麻烦了,然 ...

  7. 关于hadoop集群管理系统搭建的规划说明

    Hadoop集群管理系统搭建是每个入门级新手都非常头疼的事情,因为你可能花费了很久的时间在搭建运行环境,最终却不知道什么原因无法创建成功.但对新手来说,运行环境搭建不成功的概率还蛮高的. 在之前的分享 ...

  8. Hadoop集群环境搭建步骤说明

    Hadoop集群环境搭建是很多学习hadoop学习者或者是使用者都必然要面对的一个问题,网上关于hadoop集群环境搭建的博文教程也蛮多的.对于玩hadoop的高手来说肯定没有什么问题,甚至可以说事“ ...

  9. Hadoop集群上搭建Ranger

    There are two types of people in the world. I hate both of them. Hadoop集群上搭建Ranger 在搭建Ranger工程之前,需要完 ...

随机推荐

  1. 高可用etcd集群(三节点) + ssl双向认证

    # etcd下载地址 https://github.com/etcd-io/etcd/tags wget https://github.com/etcd-io/etcd/releases/downlo ...

  2. 机器学习之softmax回归笔记

    本次笔记绝大部分转自https://www.cnblogs.com/Luv-GEM/p/10674719.html softmax回归 Logistic回归是用来解决二类分类问题的,如果要解决的问题是 ...

  3. 并查集问题hdu 1232

    Problem Description 某省调查城镇交通状况,得到现有城镇道路统计表,表中列出了每条道路直接连通的城镇.省政府“畅通工程”的目标是使全省任何两个城镇间都可以实现交通(但不一定有直接的道 ...

  4. EfCore基本用法

    db first 和 code first的基本使用方法 https://www.cnblogs.com/Starts_2000/p/mysql-efcore20-codefirst-dbfirst- ...

  5. elk docker-compose

    version: '3.1' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4 c ...

  6. win7 ReadyBoot 文件位置修改

    右键我的电脑,依次点开系统工具-性能-数据收集器集-系统-事件跟踪会话 在右边找到ReadyBoot,右键打开属性,会话框上方选择文件,根据示例文件名的路径找到ReadyBoot.etl文件,复制到你 ...

  7. linux--安全加固脚本

    Linux安全加固配置 #! /bin/bash# copyright by hwb# Function:对账户的密码的一些加固read -p "设置密码最多可多少天不修改:" A ...

  8. python 循环结构(for-in)

    循环结构(for-in) 说明:也是循环结构的一种,经常用于遍历字符串.列表,元组,字典等 格式: for x in y: 循环体 执行流程:x依次表示y中的一个元素,遍历完所有元素循环结束 示例1: ...

  9. EntityFramework进阶(三)- 根据IQueryable获取DbContext

    本系列原创博客代码已在EntityFramework6.0.0测试通过,转载请标明出处 有时候我们要通过IQueryable获取所在的DbContext信息,这是完全可以的. 以下代码从个人开源框架中 ...

  10. iOS 中 UIView 和 CALayer 的关系

    UIView 有一个名叫 layer ,类型为 CALayer 的对象属性,它们的行为很相似,主要区别在于:CALayer 继承自 NSObject ,不能够响应事件. 这是因为 UIView 除了负 ...