Hadoop集群安装

1.配置JDK环境和设置主机名,本地解析

JDK环境教程: http://www.cnblogs.com/wangweiwen/p/6104189.html

本地解析:
vim /etc/hostname,给每台机器起一个主机名:
Master.Hadoop
Slave1.Hadoop
Slave2.Hadoop
Slave3.Hadoop
Slave4.Hadoop
![](http://images2015.cnblogs.com/blog/879497/201611/879497-20161126160730081-287864244.png) vim /etc/hosts
192.168.1.230 localhost 192.168.1.200 Master.Hadoop
192.168.1.201 Slave1.Hadoop
192.168.1.202 Slave2.Hadoop ![](http://images2015.cnblogs.com/blog/879497/201611/879497-20161126160804128-801905761.png) ping 主机名能得到相应,就说明配置通了

2.集群中互相免密码登录

登录到Master.Hadoop,切换到root用户,然后执行 ssh-keygen -t rsa,无脑一直回车,生产一对公钥密钥,把公钥写入/root/.ssh/authorized_keys文件中,并给authorized_keys文件600权限(chmod 600 authorized_keys)

同样的方法在其他机器上面生产公钥,把公钥写入到Master.Hadoop下面的/root/.ssh/authorized_keys文件中,然后把/root/.ssh/authorized_keys拷贝到每一台从机器上面,保证每一台机器上面都有其他机器的公钥。

测试一下:ssh Master.Hadoop ,能登录说明没问题

3.安装Hadoop

3.1 Hadoop 下载 :http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

    解压到/use/local,cd /usr/local/hadoop-2.7.3/ && mkdir -p tmp  hdfs  hdfs/data  hdfs/name

3.2 添加从机器的配置文件:在${Hadoop}/etc/hadoop/slaves中,写入所有从机器的主机名,一行一台

    ![](http://images2015.cnblogs.com/blog/879497/201611/879497-20161126163740956-358561213.png)

3.3 ${Hadoop/etc/hadoop/hadoop-env.sh ,${Hadoop/etc/hadoop/yarn-env.sh 中加入export JAVA_HOME=/usr/local/jdk1.8.0_111/

4 启动Hadoop集群

    ${Hadoop}/bin/hadoop namenode -format -y
${Hadoop}/sbin/start-dfs.sh
${Hadoop}/sbin/start-yarn.sh
${Hadoop}/sbin/mr-jobhistory-daemon.sh start historyserver
${Hadoop}/sbin/yarn-daemon.sh start proxyserver

hadoop集群的安装的更多相关文章

  1. Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)

    Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装 ...

  2. Hadoop集群搭建安装过程(二)(图文详解---尽情点击!!!)

    Hadoop集群搭建安装过程(二)(配置SSH免密登录)(图文详解---尽情点击!!!) 一.配置ssh无密码访问 ®生成公钥密钥对 1.在每个节点上分别执行: ssh-keygen -t rsa(一 ...

  3. Ganglia监控Hadoop集群的安装部署[转]

    Ganglia监控Hadoop集群的安装部署 一. 安装环境 Ubuntu server 12.04 安装gmetad的机器:192.168.52.105 安装gmond的机 器:192.168.52 ...

  4. 沉淀,再出发——在Hadoop集群之上安装hbase

    在Hadoop集群之上安装hbase 一.安装准备 首先我们确保在ubuntu16.04上安装了以下的产品,java1.8及其以上,ssh,hadoop集群,其次,我们需要从hbase的官网上下载并安 ...

  5. Apache Hadoop集群离线安装部署(三)——Hbase安装

    Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...

  6. Apache Hadoop集群离线安装部署(二)——Spark-2.1.0 on Yarn安装

    Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS.YARN.MR)安装:http://www.cnblogs.com/pojishou/p/6366542.html Apac ...

  7. Apache Hadoop集群离线安装部署(一)——Hadoop(HDFS、YARN、MR)安装

    虽然我已经装了个Cloudera的CDH集群(教程详见:http://www.cnblogs.com/pojishou/p/6267616.html),但实在太吃内存了,而且给定的组件版本是不可选的, ...

  8. Hadoop集群搭建安装过程(一)(图文详解---尽情点击!!!)

    Hadoop集群搭建(一)(上篇中讲到了Linux虚拟机的安装) 一.安装所需插件(以hadoop2.6.4为例,如果需要可以到官方网站进行下载:http://hadoop.apache.org) h ...

  9. Hadoop集群的安装与配置(centos 6.5)

    一.Hadoop搭建准备(centOs6.5  且每个系统都要有同一个用户,如:hadoop)     1.IP的配置 包括Master和Slaves的IP配置,之间能够相互ping通:  例如:   ...

  10. Hadoop集群环境安装

    转载请标明出处:  http://blog.csdn.net/zwto1/article/details/45647643:  本文出自:[zhang_way的博客专栏] 工具: 虚拟机virtual ...

随机推荐

  1. Java多线程下载文件

    package com.test.download;   import java.io.File; import java.io.InputStream; import java.io.RandomA ...

  2. Spring学习十二----------Bean的配置之@ImportResource和@Value

    © 版权声明:本文为博主原创文章,转载请注明出处 @ImportResource -引入XML配置文件 @Value -从配置文件中获取值 实例 1.项目结构 2.pom.xml <projec ...

  3. 基于mysql本身的主从复制

    mysql的主从复制在我理解而言就是一个主数据库进行增删改操作的时候会自动将数据写入与之关联的从数据库中.这个从数据库可以是一个也可以是多个.(刚开始理解的时候觉得是同一个数据库服务下的不同的data ...

  4. 个人笔记-CSS

    http://localhost:1081/sdfsdfs/config-browser/actionNames.action 超出容器文字隐藏 .hiddenoverflowtext { width ...

  5. Spring Data JPA 事务锁

    1.概述 在本快速教程中,我们将讨论在Spring Data JPA中为自定义查询方法和预定义存储库的CRUD方法启用事务锁, 我们还将查看不同的锁类型并设置事务锁超时. 2.锁类型 JPA定义了两种 ...

  6. 企业级API设计

    最近对service的API设计,在team内有些讨论,主要集中在API是足够抽象.通用好呢, 还是具体.易用好? 其实这个是要折衷的,通用的好处是以后更改API的可能性小,但坏处是想要通用,里面的字 ...

  7. 【PyCharm编辑器】之引用selenium包提示错误:Unresolved reference 'selenium' less... (Ctrl+F1)

    一.现象还原: 当新建.py文件时,需要引用selenium中的方法时,报错,提示红波浪线: Unresolved reference 'selenium' less... (Ctrl+F1) Thi ...

  8. 07 redi sorder set结构及命令详解

    zadd key score1 value1 score2 value2 .. 添加元素 redis 127.0.0.1:6379> zadd stu 18 lily 19 hmm 20 lil ...

  9. iOS开发 僵尸调试

    本文转载至 http://blog.sina.com.cn/s/blog_a843a8850101dxin.html   引自:http://blog.csdn.net/likendsl/articl ...

  10. Java 中的四种引用类型(转)

    目录 背景 简介          1. 强引用 StrongReference          2. 弱引用 WeakReference          3. 软引用 SoftReference ...