注:此文章所写内容完全在虚拟机配置,系统:centos,jdk和hadoop已经安装完成所配集群包括hadoop01,hadoop02,hadoop03,hadoop04四台,ip分别为:192.168.80.101,192.168.80.102,192.168.80.103,192.168.80.104。

  1、现在有一台虚拟机,主机名:hadoop01,修改主机hosts

  1、更改 /etc/hosts  // 添加IP和主机名的映射

    127.0.0.1  localhost

    192.168.80.101  hadoop01

    192.168.80.102  hadoop02

    192.168.80.103  hadoop03

    192.168.80.104  hadoop04

  2、更改主机名:/etc/hostname   /etc/sysconfig/network

  2、配置完全分布式(${HADOOP_HOME}/etc/hadoop)

[core-site.xml]  // 在<value>中写 namenode 主机名 映射ip
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01/</value>
  </property>
</configuration> [hdfs-site.xml] //在<value>中为datenode主机数量
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration> [mapred-site.xml]
注意:cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration> [yarn-site.xml] // 在第一个<value>内填写namenode主机名 映射ip
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration> // 配置 slaves 文件 datenode节点
  hadoop02
  hadoop03
  hadoop04

  3、配置完全分布式

1、克隆三台

2、克隆过后修改hostname和ip地址文件

  [/etc/hostname]  [/etc/sysconfig/network]

  hadoop02

  修改ip

  [/etc/sysconfig/network-scripts/ifcfg-ethxxx]

  IPADDR = 192.168.80.102

  因为是克隆的所以删除UUID和MAC地址

  然后 rm -f  /etc/udev/rules.d/70-persistent-net.rules 文件

3、重启网络

  sudo service network restart

4、修改/etc/resolv.conf文件

  nameserver  192.169.80.2

5、重复以上过程2~4

  4、准备完全分布式主机的ssh

1、删除主机上的/home/hadoop/.ssh/*

2、在hadoop01主机上生成密匙对

  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

3、将hadoop01的公钥文件id_rsa.pub远程复制到hadoop01~hadoop04主机上

  并放置到/etc/hadoop/.ssh/authorized_keys

  $>scp id_rsa.pub hadoop@hadoop01:/home/centos/.ssh/authorized_keys
  $>scp id_rsa.pub hadoop@hadoop02/home/centos/.ssh/authorized_keys
  $>scp id_rsa.pub hadoop@hadoop03:/home/centos/.ssh/authorized_keys
  $>scp id_rsa.pub hadoop@hadoop04:/home/centos/.ssh/authorized_keys

  若系统没有scp命令:安装scp 

  yum -y install openssh-clients
  另外:记住更改 .ssh文件夹为 hadoop:hadoop用户

4、ssh hadoop01

  ssh hadoop02

  ssh hadoop03

  ssh hadoop04

  测试登陆

  5、格式化文件系统

  1、格式化文件系统之前先删除临时文件目录文件

  cd /tmp

  rm -rf hadoop-hadoop

  ssh hadoop02 rm -rf /tmp/hadoop-hadoop

  ....

  2、删除hadoop日志文件

  cd /soft/hadoop/logs

  rm -rf *

  ssh hadoop02 rm -rf /soft/hadoop/logs/*

  ....

  3、格式化文件系统

  hadoop namenode -format

  4、启动hadoop进程

  start-all.sh

  6、jps查看进程

    登陆192.168.80.101:50070查看节点信息

  

hadoop_完全分布式配置的更多相关文章

  1. ubuntu12.04+Elasticsearch2.3.3伪分布式配置,集群状态分片调整

    目录 [TOC] 1.什么是Elashticsearch 1.1 Elashticsearch介绍 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎.能够快速搜索数 ...

  2. 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...

  3. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    摘自: http://www.cnblogs.com/kinglau/p/3796164.html http://www.powerxing.com/install-hadoop/ 当开始着手实践 H ...

  4. Hadoop安装教程_单机/伪分布式配置

    环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统(可参考使用VirtualBox安装CentOS).如果用的是 Ubuntu 系统,请查看相应的 Ubuntu安装Hadoo ...

  5. SpringCloud学习之快速搭建分布式配置

    一. 关于spring-cloud中的分布式配置 Spring Cloud Config为分布式系统中的外部配置提供服务器和客户端支持.使用Config Server,您可以在所有环境中管理应用程序的 ...

  6. 新手推荐:Hadoop安装教程_单机/伪分布式配置_Hadoop-2.7.1/Ubuntu14.04

    下述教程本人在最新版的-jre openjdk-7-jdk OpenJDK 默认的安装位置为: /usr/lib/jvm/java-7-openjdk-amd64 (32位系统则是 /usr/lib/ ...

  7. spring cloud 入门系列七:基于Git存储的分布式配置中心

    我们前面接触到的spring cloud组件都是基于Netflix的组件进行实现的,这次我们来看下spring cloud 团队自己创建的一个全新项目:Spring Cloud Config.它用来为 ...

  8. Spring Cloud Config 分布式配置中心使用教程

    一.简介 在分布式系统中,由于服务数量巨多,为了方便服务配置文件统一管理,实时更新,所以需要分布式配置中心组件.在Spring Cloud中,有分布式配置中心组件spring cloud config ...

  9. SpringCloud的分布式配置及消息总线

    1.在搭建分布式配置时,我们大概看下分布式配置的流程 如图所示: 当一个系统中的配置文件发生改变的时候,我们需要重新启动该服务,才能使得新的配置文件生效,spring cloud config可以实现 ...

随机推荐

  1. Python -bs4介绍

    https://cuiqingcai.com/1319.html Python -BS4详细介绍Python 在处理html方面有很多的优势,一般情况下是要先学习正则表达式的.在应用过程中有很多模块是 ...

  2. 网易免费企业邮箱Foxmail设置方法

    网易免费企业邮箱Foxmail7.0设置方法 第一步:启动 Foxmail 邮件客户端,点击工具->账号管理,弹出如下页面. 点击新建,如下: 填写自己企业邮箱账号,然后下一步,邮箱类型选择PO ...

  3. C#6.0语言规范(十) 类

    类是可以包含数据成员(常量和字段),函数成员(方法,属性,事件,索引器,运算符,实例构造函数,析构函数和静态构造函数)和嵌套类型的数据结构.类类型支持继承,这是一种派生类可以扩展和专门化基类的机制. ...

  4. OSX10.12搭建IPv6本地环境测试APP

    前记 最近刚换了工作,生活终于又安定下来了,又可以更博了 正文 最近公司在上线APP(整体全是用JS去写的,就用了我原生的一个控制器),然后APP就去上线,就被苹果巴巴给拒了.通过阅读苹果回复的邮件, ...

  5. MySQL字符集的设置

    Notice:文章基于ubuntu系统而写 1.关于MySQL字符集 MySQL的字符集支持(Character Set Support)有两个方面: 字符集(Character set)和排序方式( ...

  6. iOS--各种bug详解

    1.为什么传的参数都对,但是就是请求不下来数据. 答:检查下传的字符串中,是不是有多的空格. 例如: 错误:{"startIndex":"1","en ...

  7. POJ 2665

    #include<iostream> #include<stdio.h> using namespace std; int main() { //freopen("a ...

  8. 用SpringSecurity从零搭建pc项目-01

    注:之前写过一些列的SpringSecurity的文章,重新写一遍是为了把某些不必要的步骤省去,留下精简的,因为工作中有一些不需要. 在java的权限框架里,shiro和SpringSecurity是 ...

  9. 阿里云安装配置Ghost

    阿里云手动重装系统N次了,折腾不止.  系统环境 CentOS 6.3 X64 , 两块硬盘 系统 +数据盘 #重新挂载硬盘 [root@AY14040623435015772eZ ~]# fdisk ...

  10. 全网最详细的Hadoop HA集群启动后,两个namenode都是standby的解决办法(图文详解)

    不多说,直接上干货! 解决办法 因为,如下,我的Hadoop HA集群. 1.首先在hdfs-site.xml中添加下面的参数,该参数的值默认为false: <property> < ...