Hadoop介绍

    

  上面是官方介绍,翻一下来总结一句话就是:Hadoop是一个高可用,用于分布式处理大规模计算的工具。

Hadoop1.2 下载

.

Hadoop1.2 安装

  1. 安装jDK

  2. 配置hadoop集群

    1) 在hadoop-env.sh配置JAVA_HOME

    

    2)配置core-site.xml

    

    3) 配置hdfs-site.xml

    

    4) 配置mapred-site.xml

    

    5) 配置masters和slaves

     我本地搭建Hadoop集群,一共三个节点,1主2从

     

  3. 配置hostname

  4. 修改hosts文件

     

  5. 将修改的文件远程拷贝到从节点

scp  -r /opt/software/hadoop1.2.1/conf root@172.16.169.11://opt/software/hadoop1.2.1

  6. 关闭防火墙和selinux

关闭防火墙和selinux
6.1 关闭防火墙
) 重启后生效
开启: chkconfig iptables on
关闭: chkconfig iptables off
) 即时生效,重启后失效
开启: service iptables start
关闭: service iptables stop
6.2 禁用selinux
查看selinux状态:getenforce
临时禁用:setenforce
永久禁用:修改/etc/selinux/config 文件 将SELINUX=enforcing改为SELINUX=disabled 重启后生效

  7. 配置三个节点无秘钥登陆

#生成RSA秘钥对
ssh-keygen -t rsa #将本机公钥远程拷贝到从节点,ssh-copy-id会自动在从节点机器新建authorized_keys并将该文件权限设置为600
ssh-copy-id master | slave1 | slave2

  8. 启动Hadoop集群

  到这里整个hadoop集群都配置完成了,直接执行hadoop启动命令就可以。

#目录切换到hadoop安装目录的bin目录下
./start-all.sh

  9. 查询hadoop集群是否正常启动

在三个节点执行jps命令如果能看到如图所示进程,则说明Hadoop机器正常启动了

   

Hadoop安装与配置的更多相关文章

  1. [Hadoop入门] - 2 ubuntu安装与配置 hadoop安装与配置

    ubuntu安装(这里我就不一一捉图了,只引用一个网址, 相信大家能力) ubuntu安装参考教程:  http://jingyan.baidu.com/article/14bd256e0ca52eb ...

  2. Hadoop集群--linux虚拟机Hadoop安装与配置、克隆虚拟机

    Hadoop集群 第四章 Hadoop安装与配置.克隆虚拟机 一.Hadoop安装与配置 1.将hadoop安装包通过Xftp传输到虚拟机的/software目录下 2.进入/software目录下, ...

  3. 一、hadoop安装与配置

    准备环境: 系统:centos6.5 64位 192.168.211.129   master 192.168.211.131   slave1   在两台服务器上都要配置ssh免密码登录 在192. ...

  4. spark学习(2)--hadoop安装、配置

    环境: 三台机器 ubuntu14.04 hadoop2.7.5 jdk-8u161-linux-x64.tar.gz (jdk1.8) 架构: machine101 :名称节点.数据节点.Secon ...

  5. 五十九.大数据、Hadoop 、 Hadoop安装与配置 、 HDFS

    1.安装Hadoop 单机模式安装Hadoop 安装JAVA环境 设置环境变量,启动运行   1.1 环境准备   1)配置主机名为nn01,ip为192.168.1.21,配置yum源(系统源) 备 ...

  6. hadoop安装及配置入门篇

    声明: author: 龚细军 时间: -- 类型: 笔记 转载时请注明出处及相应链接. 链接地址: http://www.cnblogs.com/gongxijun/p/5726024.html 本 ...

  7. Hadoop安装及配置

    一.系统及软件环境 1.操作系统 CentOS release 6.5 (Final) 内核版本:2.6.32-431.el6.x86_64 master.fansik.com:192.168.83. ...

  8. hadoop安装和配置

    这里只是涉及了hadoop的一些思路,所以完全分布式配置文件并没有哦!以后会把详细的配置过程和使用环境补充在另外一篇博客中 hadoop的安装: --------------------------- ...

  9. cdh版本的hadoop安装及配置(伪分布式模式) MapReduce配置 yarn配置

    安装hadoop需要jdk依赖,我这里是用jdk8 jdk版本:jdk1.8.0_151 hadoop版本:hadoop-2.5.0-cdh5.3.6 hadoop下载地址:链接:https://pa ...

随机推荐

  1. div不换行

    三种方法: 1.float <div class="div1">123</div> <div class="div2">45 ...

  2. 洛谷 P1966 火柴排队

    题目描述 涵涵有两盒火柴,每盒装有 n 根火柴,每根火柴都有一个高度. 现在将每盒中的火柴各自排成一列, 同一列火柴的高度互不相同, 两列火柴之间的距离定义为:∑(ai​−bi​)2 其中ai​ 表示 ...

  3. idea 启动时报 error:java 无效的源发行版11

    编译的版本不符合,需要修改统一 

  4. A Simple Task CodeForces - 11D

    A Simple Task CodeForces - 11D 题意:输出一个无向图的简单环数量.简单环指无重复边的环.保证图无重边自环. ans[i][j]表示"包含i中的点,以i中第一个点 ...

  5. 题解报告:hdu 1284 钱币兑换问题(简单数学orDP)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1284 Problem Description 在一个国家仅有1分,2分,3分硬币,将钱N兑换成硬币有很 ...

  6. 题解报告:hdu 1159 Common Subsequence(最长公共子序列LCS)

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=1159 Problem Description 给定序列的子序列是给定的序列,其中有一些元素(可能没有) ...

  7. 使用ImageMagick处理图片后导致图片变大的问题

    最新在使用ImageMagick处理图片时,发现有时经过处理的图片变大的问题. 例如原图为27K,经处理后的图片会变为77K. 先看测试代码: // imgtest.cpp : 定义控制台应用程序的入 ...

  8. 客户端负载均衡 - Ribbon

    Ribbon是Netflix公司开源的一个负载均衡的项目(https://github.com/Netflix/ribbon),它是一个基于HTTP.TCP的客户端负载均衡器. 服务端负载均衡 负载均 ...

  9. php socket通信演示以及socket操作类

    准备做Java的课程设计,一个通讯录.采用C/S架构.客户端用java FX和Java,服务器端用php,采用socket通信. 下面来讲一讲php的socket通信: 讲之前,得先讲一下TCP/IP ...

  10. mysql解压缩方式安装和彻底删除

    一.安装mysql (1)将下载下来的mysql压缩文件解压缩到需要安装mysql的目录中 (2)打开解压后的文件夹,复制default.ini文件并重命名为my.ini,此文件的相关配置为: (3) ...