注:此文章所写内容完全在虚拟机配置,系统:centos,jdk和hadoop已经安装完成所配集群包括hadoop01,hadoop02,hadoop03,hadoop04四台,ip分别为:192.168.80.101,192.168.80.102,192.168.80.103,192.168.80.104。

  1、现在有一台虚拟机,主机名:hadoop01,修改主机hosts

  1、更改 /etc/hosts  // 添加IP和主机名的映射

    127.0.0.1  localhost

    192.168.80.101  hadoop01

    192.168.80.102  hadoop02

    192.168.80.103  hadoop03

    192.168.80.104  hadoop04

  2、更改主机名:/etc/hostname   /etc/sysconfig/network

  2、配置完全分布式(${HADOOP_HOME}/etc/hadoop)

[core-site.xml]  // 在<value>中写 namenode 主机名 映射ip
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01/</value>
  </property>
</configuration> [hdfs-site.xml] //在<value>中为datenode主机数量
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration> [mapred-site.xml]
注意:cp mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration> [yarn-site.xml] // 在第一个<value>内填写namenode主机名 映射ip
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration> // 配置 slaves 文件 datenode节点
  hadoop02
  hadoop03
  hadoop04

  3、配置完全分布式

1、克隆三台

2、克隆过后修改hostname和ip地址文件

  [/etc/hostname]  [/etc/sysconfig/network]

  hadoop02

  修改ip

  [/etc/sysconfig/network-scripts/ifcfg-ethxxx]

  IPADDR = 192.168.80.102

  因为是克隆的所以删除UUID和MAC地址

  然后 rm -f  /etc/udev/rules.d/70-persistent-net.rules 文件

3、重启网络

  sudo service network restart

4、修改/etc/resolv.conf文件

  nameserver  192.169.80.2

5、重复以上过程2~4

  4、准备完全分布式主机的ssh

1、删除主机上的/home/hadoop/.ssh/*

2、在hadoop01主机上生成密匙对

  ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

3、将hadoop01的公钥文件id_rsa.pub远程复制到hadoop01~hadoop04主机上

  并放置到/etc/hadoop/.ssh/authorized_keys

  $>scp id_rsa.pub hadoop@hadoop01:/home/centos/.ssh/authorized_keys
  $>scp id_rsa.pub hadoop@hadoop02/home/centos/.ssh/authorized_keys
  $>scp id_rsa.pub hadoop@hadoop03:/home/centos/.ssh/authorized_keys
  $>scp id_rsa.pub hadoop@hadoop04:/home/centos/.ssh/authorized_keys

  若系统没有scp命令:安装scp 

  yum -y install openssh-clients
  另外:记住更改 .ssh文件夹为 hadoop:hadoop用户

4、ssh hadoop01

  ssh hadoop02

  ssh hadoop03

  ssh hadoop04

  测试登陆

  5、格式化文件系统

  1、格式化文件系统之前先删除临时文件目录文件

  cd /tmp

  rm -rf hadoop-hadoop

  ssh hadoop02 rm -rf /tmp/hadoop-hadoop

  ....

  2、删除hadoop日志文件

  cd /soft/hadoop/logs

  rm -rf *

  ssh hadoop02 rm -rf /soft/hadoop/logs/*

  ....

  3、格式化文件系统

  hadoop namenode -format

  4、启动hadoop进程

  start-all.sh

  6、jps查看进程

    登陆192.168.80.101:50070查看节点信息

  

hadoop_完全分布式配置的更多相关文章

  1. ubuntu12.04+Elasticsearch2.3.3伪分布式配置,集群状态分片调整

    目录 [TOC] 1.什么是Elashticsearch 1.1 Elashticsearch介绍 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎.能够快速搜索数 ...

  2. 转载:Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到, ...

  3. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    摘自: http://www.cnblogs.com/kinglau/p/3796164.html http://www.powerxing.com/install-hadoop/ 当开始着手实践 H ...

  4. Hadoop安装教程_单机/伪分布式配置

    环境 本教程使用 CentOS 6.4 32位 作为系统环境,请自行安装系统(可参考使用VirtualBox安装CentOS).如果用的是 Ubuntu 系统,请查看相应的 Ubuntu安装Hadoo ...

  5. SpringCloud学习之快速搭建分布式配置

    一. 关于spring-cloud中的分布式配置 Spring Cloud Config为分布式系统中的外部配置提供服务器和客户端支持.使用Config Server,您可以在所有环境中管理应用程序的 ...

  6. 新手推荐:Hadoop安装教程_单机/伪分布式配置_Hadoop-2.7.1/Ubuntu14.04

    下述教程本人在最新版的-jre openjdk-7-jdk OpenJDK 默认的安装位置为: /usr/lib/jvm/java-7-openjdk-amd64 (32位系统则是 /usr/lib/ ...

  7. spring cloud 入门系列七:基于Git存储的分布式配置中心

    我们前面接触到的spring cloud组件都是基于Netflix的组件进行实现的,这次我们来看下spring cloud 团队自己创建的一个全新项目:Spring Cloud Config.它用来为 ...

  8. Spring Cloud Config 分布式配置中心使用教程

    一.简介 在分布式系统中,由于服务数量巨多,为了方便服务配置文件统一管理,实时更新,所以需要分布式配置中心组件.在Spring Cloud中,有分布式配置中心组件spring cloud config ...

  9. SpringCloud的分布式配置及消息总线

    1.在搭建分布式配置时,我们大概看下分布式配置的流程 如图所示: 当一个系统中的配置文件发生改变的时候,我们需要重新启动该服务,才能使得新的配置文件生效,spring cloud config可以实现 ...

随机推荐

  1. 关于各种算法以及好的blog的整理(持续更新)

    一堆博客先扔着,等有空的时候再去看……好像没几个会的…… 以下都是待学习的算法 博弈论 https://www.cnblogs.com/cjyyb/p/9495131.html https://blo ...

  2. Spring Boot中使用@Scheduled创建定时任务

    我们在编写Spring Boot应用中经常会遇到这样的场景,比如:我需要定时地发送一些短信.邮件之类的操作,也可能会定时地检查和监控一些标志.参数等. 创建定时任务 在Spring Boot中编写定时 ...

  3. Git 本地操作

    版权声明:数学是研究世界的本质,自然科学是研究上帝的意志,而计算机则是揣摩屌丝人类的意志   目录(?)[-] 命令 git config 增删改查 init clone add commit sta ...

  4. Sublime Text3 实现在浏览器中以HTML格式预览md文件

    1.首先找到Package Control 打开Sublime Text3,找到菜单栏:Preferences → Package Control,没有找到Package Control,那么点击Pa ...

  5. linux shell使用别名,切换当前目录

    别名alias 别名就是一种快捷方式,以省去用户输入一长串命令序列的麻烦. 别名使用alias命令 比如 alias cp='cp -i' alias l.='ls -d .* --color=tty ...

  6. Scala使用隐式转换进行比较

    Boy.scala class Boy(val name: String, val faceValue: Int) extends Comparable[Boy]{ override def comp ...

  7. (转)Python的web服务器

    1.浏览器请求动态页面过程 2.WSGI Python Web Server Gateway Interface (或简称 WSGI,读作“wizgy”). WSGI允许开发者将选择web框架和web ...

  8. Jmeter测试Mysql数据库-入门篇

    一.jmter配置数据库 1.在配置jmter之前需要先安装数据库连接池驱动,进入到官方下载页面https://dev.mysql.com/downloads/connector/j/,下载对应的驱动 ...

  9. spring 资源访问

    spring 资源访问 Resource resource=null; //访问网络资源 resource=new UrlResource("file:bool.xml"); // ...

  10. JavaScript -- Window-Interval

    -----031-Window-Interval.html----- <!DOCTYPE html> <html> <head> <meta http-equ ...